På billedet ses en af byens ældste institutioner i vinterdragt og omkranset af sneklædte graner.
Straffeanstalten blev opført 1847 til 1853 på et 26 Tdr. land stort stort areal, der før var excerserplads for kyradsererne. Mændene bag byggeriet var nationaløkonomen C. N. David og kgl. bygningsinspektør Fr. Friis. Tugthuset opførtes efter det auburnske system, hvilket vil sige fællesskab ved arbejde, iøvrigt isolation.
Det var dog kun vestfløjen, der var færdig i 1853 og endda forsinket p.g.a. krigen mod slesvig – holstenere (1848 – 50). Fangerne fra vestfløjen deltog i opførelsen af østfløjen, der var færdig i 1854. Men først i 1875 kunne resten, herunder midtfløjen, indvies. Samme år nedlagdes Viborg Tugthus og fangerne herfra samt en del inventarium overførtes til Horsens. I vestfløjen og østfløjen var der oprindelig kun soveafdeling med celler midt i bygningen og gange til personalet langs ydermurerne, således de indsatte var uden lys og luft. Hver fløj rummede 192 fanger.
Først i 1933, da tugthuset ændrede navn og status til Statsfængslet i Horsens, blev cellerne som led i en større modernisering flyttet til ydermurene med gang i midten af bygningen, hvorved cellerne kunne forsynes med vinduer.
Efter retsopgøret i 1945 rummede rummede fængslet flere prominente repræsentanter for det tyske herrefolk, bl.a. dr. Best, Bovensiepen (chef for det tyske sikkerhedspoliti, dødsdømt, men løsladt i 1953) og Panche (chef for det tyske politi, idømt 20 års fængsel, løsladt i 1953 og udvist).
