Hanstedgård nævnes allerede i kong Valdemars Jordebog fra 1200-tallet som kongens ejendom. Den 
nuværende bygning ligger formentlig på middelaldergårdens grund.
Gårdens placering har budt på gode forsvarsmuligheder, idet engarealerne dengang stod under vand, som kom ind fra Nørrestrand. Mod nord blev anlagt en voldgrav, som stadigvæk delvis eksisterer.
Gården var i flere hundrede år skiftevis i krones og i privates besiddelse og havnede endelig i 1684 hos rådmand i Horsens, Anders Jensen Thonbo og hustru Dorthe Hansdatter. Efter ægtemandens død i 1697 oprettede Dorthe Hansdatter i 1705 Hansted Hospital, og gården overgik sammen med Hansted og Lundum kirker samt andet jordegods til hospitalet. Herefter fik hospitalsforstanderen Hanstedgård i forpagtning.
I 1781 blev major Poul Gersdoffs udnævt til hospitalsforstander og forpagter. Han kom til at sætte et varigt præg på gården, idet han i 1789 lod den nuværende hovedbygning opføre og haven anlægge. Over hovedbygningens smukke indgangsparti står et ordsprog på latin, som oversat lyder. “Styrke består i handling”.
I dette århundrede er gården igen, bortset fra en ganske kort tid i Horsens kommunes eje, kommet på private hænder. Det store billede stammer fra begyndelsen af århundredet, hvor man endnu fordrev tiden med at sejle på søen foran gården.
Den nuværende ejer søger lidt efter lidt at genskabe omgivelserne fra århundredeskiftet. Søen foran godsets bygninger er igen fint fyldt med vand, som det ses på det lille billede, og have og voldgrav vil også blive ført tilbage til tidligere tiders udseende.
01. maj 1897:
“Agda” gaar paa Lysttur til Endelave i Morgen tidlig Kl. 8.
01. maj 1917:
Den gamle Tradition med Valborgblus holdtes i Aftes højt i Ære, trods Brændselsmangel og høje Kokspriser. Langs Strandpromenadenvar Blus paa Blus, saa de mange Spaserende her fik sig en god Haandfuld varme. Fra Omegnens Højdepunkter saa man ligeledes store Blus, dog ikke saa mange som tidligere Aar.
13. maj 1937:
I Anledning af Regeringsjubilæet paa Lørdag arrangeres der en stor National Festaften paa “Heimdal”, hvis Lokaler smykkes i nationale Farver og med Skovens friske Bøgeløv.
13. maj 1957:
Sportsmagasinet i Horsens havde i week-enden arrangeret en stor camping-udstilling i Bygholm Park og hundreder benyttede lejligheden til at se den hidtil største teltudstilling i provinsen.
02. maj 1977:
Industrimuseet åbnet: Et hyl fra fabriksfløjten var signalet til forbundsformand Paulus Andersen om at starte den 64 år gamle dieselmotor fra Møller og Jochumsen og dermed officielt åbne Arbejder-Håndværker- og Industrimuseet i Horsens. Mange deltog i indvielsesfesten, hvor det strømmede ind med gaver og gamle genstande til museet.