Efter at Det slesvigske Kyrasserregiment blev opløst i 1842, fik Horsens i 1853 et tugthus som en slags erstatning.
Første del af det nye fængsel stod færdigt 20. maj 1853 og hed da Horsens Straffeanstalt. I 1930 blev 
navnet ændret til Statsfængslet i Horsens. Fra 1953 til 1973 var navnet Forvaringsanstalten og Særfængslet i Horsens, fordi man i disse år også modtog indsatte med tidsubestemte straffe.
Efter 1973 da disse tidsubestemte domme næsten var afskaffet, kom fængslet igen til at hedde Statsfængslet i Horsens.
Fra begyndelsen var der plads til ca. 200 fanger. Men allerede i 1876 var dette antal vokset til 364. De var opdelt i 20 afdelinger og arbejdede i en fælles arbejdshal om dagen. Natten tilbragte de i hver deres natcelle.
100 år senere var der sket betydelige ændringer bl.a. med etageadskillelse i vest- og østfløjen. Det lille billede viser en af fløjene, som den så ud omkring 1958, fire år efter ombygningen.
I 1924 opførtes en vævehal, i 1928 blev der anlagt et gartneri og i 1930erne blev der bl.a. installeret moderne badefaciliteter i fængslets sygehusafdeling. Ringmuren blev udvidet i 1942.
Det store billede er taget mellem 1959 – 1965. Her kan man i midten af billedet se mistbænke anlagt, men endnu er de store drivehuse ikke byggede.
I årene 1961-1964 blev der desuden opført en ny lagerbygning og et stort vaskeri indenfor muren.
04. oktober 1901:
Prima store Cowdenbeath – Kul samt ekstrafine Cowdenbeath – Røddekul losses fra Dampsk. “Sommerzienroth Fowler” fra den 5. til 9. dennes. Bestillinger modtages. Andreas E. Jensen.
12. oktober 1921:
Flyttedag paa Tirsdag vil, efter hvad Bygningsinspektøren oplyser overfor os, faa et meget roligt Forløb. Der er indtil nu anmeldt 5 – 6 husvilde Familier, som det ikke vil knibe at faa plads til, og i øvrigt er der vist ikke mange der flytter i Aar.
10. oktober 1941:
Brandmand Abraham Abrahamsen, der kørte den ene af de to store, nye Brandsprøjter og var alene paa Vognen, faldt pludselig sammen ved Rattet. Dermed mistede han Herredømmet over den store, tunge Brandbil,… og forsatte ud over bolværket. Her laa heldigvis Horsens Dampskibsselskabs seneste anskaffede Turistbaad og denne stødte Brandbilen mod og blev derved hængende ud over bolværket, hvorefter de brandfolk, der var i de øvrige Biler, opdagede ulykken.
05. oktober 1961:
Fem nye blinklyssignaler i gang ved Odder – banen. Nu er der opsat blinklyssignaler ved Gasvej, Ny Havnegade, Strandgade, Lindealle og Valdemarsgade, således at al trafik over banen skal foregå ad disse overkørsler. Der er i den anledning opsat 26 vejlanterner med blinklys, og til kontrol for førene af togene er desuden opsat 10 kontrollanterner.
05. oktober 1981:
Amtgymnasiet i Horsens ved Ormhøjsgårdvej og Ternebakkevej er ved at tage form , og i følge rektor Flemming Schmidt er byggeriet på nuværende tidspunkt tre uger foran tidsplanen.