Nørregade 14-16-18 dannede i 17- og 1800-årene rammen om byens fattigforsorg. I nr. 18 bekostede storkøbmand Jørgen Lindvig i 1752, at der her blev oprettet en fri dansk fattigskole, hvortil der senere blev knyttet en ”Spinde- og arbejdsskole”.
Efter indførelsen af fattigforordningen i 1803, der forbød tiggeri, såvel på landet som i byen, måtte byen opføre en fattiggård, og dette skete i 1823. Nørregade 14-16 var i 1823-64 fattiggård med tilknyttet arbejdsanstalt, hvor der blev lavet gulvtæpper, hestedækkener og groft klæde for en symbolsk løn.
Dels på grund af den store befolkningstilvækst i kølvandet på industrialiseringen, og dels fordi de fattige børn ikke skulle se al den elendighed med drikfældige fattige, blev der i 1859 oprettet en ny friskole i Allégade.
Se også artiklen om Horsens fattigvæsen
Se næste stop på byvandringen