I 1600-tallet var Horsens hårdt ramt af krige og plyndringer, og da rygter om Kejserkrigen i 1627 nåede byen, flygtede flere velhavende borgere.En af dem var Anna Hansdatter Svane, som under flugten lovede Gud at 
hjælpe de fattige, hvis hun kom tilbage til Horsens. Anna Svane slap med livet i behold og oprettede i 1631 i taknemlighed Svaneboligen i Fugholm, hvor tre fattige enker kunne bo gratis.Legatboligen var den første af sin art i byen, og den fik snart tilnavnet “Himmeriges boder”.
Set ud fra brandtaksationen af 1771 virker friboligen da også ganske populær, da boede der seks enker, hvor det før var beregnet til tre. I 1785 ombyggede man Svaneboligen, som ses på det store billede fra før 1974, og nu blev der plads til syv enker.Enkernes naboer i Fugholm var fattige folk som dem selv – typisk småhåndværkere, vaskekoner, daglejere og spindepiger.
Anna Svane kom om fra anderledes gode kår og kunne både læse og skrive.Hun var datter af Hans Olufsen Riber, som var borgmester i Horsens.- Da Anna Svane i 1615 blev enke, overtog hun, overtog hun ægteparrets mange ejendomme i Horsens – heriblandt en del udlejningsboliger og en gård på Torvet, hvor hun formentlig selv boede. To af parrets syv børn døde som små, men de fem overlevende indtog ligesom forældrene fremtrædende roller i det velhavende borgerskab. Datteren Anna Hansen Svane blev således borgmesterfrue i Horsens og sønnem Oluf Hansen Svane blev borgmester i Byen i 1629.
Anne Svane døde i 1637 og blev begravet i Klosterkirken, hvor ægteparret havde sat et epitafíum for familien. Anne Svane er centralt på epitafiet, hvor både forældre og børn er afbilledet, som det ses på det lille fotografi.Svaneboligen ophørte med at fungere som legatbolig omkring 1960.
