Gaden har ikke altid heddet Fussingsvej. I 1700 – tallet hed den Viborgvejen. En rest af den findes endnu, 
nemlig Viborgvej vest for Statsfængslet. Den gik dengang tværs over den store eksercerplads, hvor Kyrassèrregimentet (“De Haassens Hæstfolk”) bl.a. øvede.
Kyrassererne forlod Horsens i 1842, til sorg for byen, men som en slags kompensation fik vi Horsens Tugthus, og vejen blev omdøbt til Tugthusvejen. Det hed den i små 100 år, indtil den i 1942 fik navnet Fussingsvej, opkaldt efter en kendt Horsensfamilie.
Bag hækken til højre i billedet lå Tvangsarbejdsanstalten ( indviet 1864) også kaldet “Forbedringshuset”. Et slot at se på, bag en smuk allè. Anstalten husede i gamle dage både mænd og kvinder (dog i hver sin afdeling). Langs hele vejen på højre side lå der små kolonihaver med dejlige lysthuse.
Tvangsarbejdsanstalten blev nedrevet i begyndelsen af 1970`erne, og på grunden opførtes Grønagerskole. De to store popler udenfor skolen er en rest af alleen, som førte op til anstalten.
Længere henne af vejen ligger tandklinik, vuggestue og børnehave, men heldigvis er der endnu nogle små haver tilbage.
