Torvet 2 og 4 var fra 1780-1807 rammen om et lille russisk fyrstehof, der her levede i landflygtighed.
Ved en paladsrevolution i Skt. Petersborg i 1740 var barnezaren Ivan d. VI blevet forkastet fra tronen, og i 1764 døde han. Han og hans fire søskende var blevet tvangsforvist til en afsides beliggende by i det nordlige Rusland, hvorfra de ikke kunne true den russiske trone. Katharina den Store forbarmede sig imidlertid over dem, og fik arrangeret, at de kunne leve i eksil i Danmark – hvor deres faster, enkedronning Juliane Marie levede.
Da de ankom i 1780 havde arkitekt Harsdorff med støtte fra det danske kongehus skabt et palæ ud af to ældre 1700-tals hårde. Med 48 kakkelovne, tapeter og møbler indforskrevet fra København og Skt. Petersborg, med 44 hoffolk og egen præst kunne prinsesserne Catharina og Elisabeth samt prinserne Peter og Alexei her leve et fyrsteligt, men dog meget neddæmpet liv. De havde ikke tilladelse til at sove andre steder, og skulle altid være i palæet ved aftenstide. Og da de stort set kun talte russisk i begyndelsen, kunne det være svært med omgangen med andre mennesker.
Hoffets regnskaber er bevaret i Rigsarkivet, og de vidner om et kulinarisk niveau, man kun sjældent kendte i en provinsby som Horsens. Spanske ansjoser, ost fra Schweiz, pomeranser, vindruer, granatæbler, konfektrosiner og krydderier, østers fra Husum, brokfugle, bekkasiner og agerhøns fra Serridslevgård, ferskvandsfisk fra Skanderborg Sø.
Efter de russiske prinser og prinsessers død beholdt kongehuset palæet, og Prinsesse Charlotte Frederikke, der blev skilt fra Christian VIII på grund af formodet utroskab, boede her fra 1810-29.
Bygningerne blev senere nedrevet, og på Torvet 2 byggedes Palæteatret i 1915 (Viggo Norn). Torvet 4 er opført i 1960’erne.
Se også artiklerne om Det russiske hof og Søndergade samt Prinsesse Charlotte Frederikke
Se næste stop på byvandringen