På sydsiden af Horsens Fjord, omgivet af vandfyldte grave i skovens udkant, troner Boller, få hundrede meter fra stranden. Herregården nævnes første gang i de skriftlige kilder i 1350, og i de efterfølgende århundreder kommer den i landets mest indflydelsesrige slægters eje. Rigets marks, Holger Rosenkrantz, tog sæde på gården i 1548, og fra hans tid stammer den nordlige længe af den nu stående borg, der stadig rummer den prægtige overhvælvede sal med med store krydsribbehvælv. Søjlerne i dette hvælv stammer muligvis fra den nedrevne Sejet Kirke. Selv om en del af murværket i den ældste fløj er fornyet visse steder, ses der stadig i nederste stokværk tre dobbeltbueblændinger, som også kendes fra andre byggerier fra 1500-årenes første halvdel. I fundamentet indgår flere smukke tilhugne granitkvadre og billedsten, der sandsynligvis også stammer fra en kirke.
Holger Rosenkrantz`s enke Karen Gyldenstjerne forsatte byggeriet efter mandens død i 1575, men deres søn Otto Christoffer Rosenkrantz gældsatte sig så tungt, at han måtte sælge Boller i 1621 til Ellen Marsvin, Christian IV´s svigermor. Da ægteskabet mellem Ellen Marsvins datter, Kirsten Munk, og Christian IV nogle år senere begyndte at slå revner og Kirsten Munk faldt i unåde, tvang kongen hende til at tage ophold på Boller, og her levede hun de sidste 28 år af sit liv, før hun døde i 1658. I 1672 overtog Mogens Friis herregården, der blev knyttet til grevskabet Frijsenborg, som siden blev Danmarks største jordegods. I 1759 foretog lensgreve Christian Friis en gennemgribende modernisering, hvor bl.a. hele den søndre og vestre borglænge blev fornyet ovenpå de eksisterende kældre.
På det store foto ses Boller, som vi kender det i dag, og på det lille kort ses hele borganlægget med den nu delvist nedrevne avlsgård sydvest for borgen.
