I 1854 blev det besluttet at opførte et nyt rådhus på hjørnet af Søndergade og Provstegyden som erstatning for det tidligere rådhus, opført samme sted i 1751. I denne forbindelse ændrede Provstgyden navn til 
Rådhusgade.
Det nye rådhus, som var byens fjerde, stod færdigt i 1856. Arkitekten var Hans Christian Zeltner (1826-1889), som et par år forinden havde været praktisk leder ved byggeriet af Horsens Tugthus.
Byens nye rådhus blev bygget i den nationale renæssance-stil, som minder om den såkaldte “Rosenborg-stil”. Denne efterligning af renæssancebygninger var især populær i den sidste halvdel af 1800-tallet.
Zeltner var senere arkitekt på Silkeborg Rådhus, opført i 1857 (nu byens domhus) og Råd-,Ting- og Arresthuset i Skanderborg, opført 1857-1860 (nu byens politistation), begge bygget i samme stil. Kendetegnende for “Rosenborg-stilen” er de buede gavle i nederlandsk stil samt tårnfremspringet midt på facaden.
Nederst i rådhusets tårn er bygningens hovedindgang, hvorover der står “Sub lege libertas” – frihed under loven.Tårnet afsluttes med en ottekantet overbygning med tårnur, kuppel og spir.
Oprindeligt rummede bygningen bl.a. borgmesterkontor, kæmmerkontor, bytingssal og politistation, men efterhånden som indbyggertallet steg i Horsens, blev huset for lille til de mange administrative opgaver, og en del af den kommunale administration flyttede til andre lokaler rundt omkring i byen, inden den blev samlet i det nuværende rådhus i 1986.
I dag rummer Søndergade 26 Byarkivet i Horsens, Horsens Turistbureau og Horsens Handel og Industri. Den gamle byrådssal på 1.sal, som ses på et store billede, er stadig væk bevaret som den stod efter ombygningen af 1. etage i begyndelsen af 1920-erne.
