Høegh Guldbergs Gade blev anlagt i 1920. Før den tid havde Sønderbrogade været den eneste indfaldsvej
til Horsens fra syd.
Horsens kommune pressede på for at få projektet gennemført af hensyn til den store arbejdsløshed i byen.
I første omgang gik planerne ud på at føre forbindelsesvejen fra Bjerrevej i lige linie til Åboulevarden ved Rådhusgade. Men da forhandlingerne med Horsens Trælasthandel og andre berørte lodsejere ikke førte til det ønskede resultat, fostredes en ny plan, nemlig en dæmning hen over fjorden.
Denne løsning gav flere fordele. På vejens vestside afsnøredes et fjordareal på 7,5 ha og tilsvarende skabte vejen mulighed for opfyldning af 12 ha af fjordens lavvandede del på østsiden.
I første omgang gav arealerne plads til fyld fra fjorden, som stammede fra gravning af et sejlløb til havnens sydside, senere fungerede arealerne som fyldeplads for kommunen.
Vejen var en forlængelse af den vej der førte fra Åboulevarden til de i 1918 opførte eksportstalde. For at gennemføre anlægget var det nødvendigt for kommunen at købe gården Sølyst, som ejede arealerne ud mod Horsens Fjord. Desuden skulle der etableres broer over Bygholm å og Dagnæs bæk.
Over åen byggende man en midlertidig træbro, som senere kunne bruges som stillads for en permanent bro. Denne bro kom først i 1934.
Vejen blev navngivet på et byrådsmøde d. 3 november 1924. Ove Høegh – Guldberg var købmandssøn fra Horsens. Han levede fra 1731 til 1808 opnåede bl.a. udnævnelse til gehejmekabinetssekretær og amtmand.
På billedet ses den nyopførte brandstation på Åboulevarden (lige til højre for Frelserkirkens tårn). Midt for vejen ses et stort hvidt plankeværk med en reklame for London Herre Forretning. Vejen lå i mange år uden belægning og var ofte pløret og vanskelig at befare trods den kloakering som kloakristen i billedets forgrund vidner om.
