I bogen ”Sønder-Vissing Sogn” fortæller Chr. Heilskov historien om kongens jagthus:
”I Maj 1587 fik Lensmanden paa Skanderborg Slot Claus Glambech, Befaling fra Koldinghus om at opføre et Jagthus i Sdr.-Vissing. Det skal være saa stort, at Kongen og Dronningen kan have bekvemme Værelser, naar de kommer der. Glambech skal sørge for, at Bønderne i Byen lader i deres Gaarde lave et ”Skorstenskammer” (Kammer med Varme) til Jagtfællerne, Jægere og ”Pandsvende” o.s.v. samt Staldrum til 5-6 Heste, saa der kan blive Baade Logementer og Staldrum hos dem med Sten til Skorstenen og nødvendigt Bygningstømmer. Som Løn for den Ulejlighed, de Vissing Mænd faar med Byggeri og Modtagelse af Kongen med Følge, maa de i 2 Aar være fri for Halvdelen af deres Landgilde. Hvis de værger sig ved at opfylde det Ønske, skal Lensmanden tage Sten og Tømmer fra dem igen og lade dem betale fuld Landgilde.
30/8 1587 var Frederik II paa Jagt i Sdr.-Vissing paa Vej fra Rye til Kolding og daterer Breve her fra Vissing. Han har da ved den Lejlighed overnattet i sit Jagthus. Han havde sin Familie med ”och var mijnt Soffije [Dronningen]… nocket such [syg]”, skriver Kongen i sine Optegnelser.
20/7 1603 fik den næste Lensmand, Valdemar Parsberg, kgl. Befaling til at lade Jagtgaarden i Vissinge nedbryde og dermed istandsætte Jagtgaarden i Rye. Kongen maa dog være kommen paa andre Tanker, thi 18/9 Aaret efter faar den følgende Lensmand, Peder Mund, den samme Befaling til Nedbrydningen, men nu skal Bygningen flyttes til Skanderborg Slot og dér opføres til et nyt Byggeri og Malthus. Dette er rimeligvis ogsaa sket.
Jagthuset laa omtrent paa det Sted, hvor Præsteboligen nu ligger. Man er flere gange stødt paa en Gadebrolægning, der ligger ca. ½ Meter under Vejen gennem Byen, og derved er der hist og her fundet Rester af en Vandledning, der vel kan have staaet i Forbindelse med Jagthuset.”