Kjeldsensgade blev navngivet 1907 og opkaldt efter vinhandler Kjeld Kjeldsen (1788 – 1860), der havde ejet havejord i området.
Kjeldsen var en af Horsens bys fire æresborgere. De andre tre var general von Flindt, borgmester Ræder og godsejer Schütte fra Bygholm.
De tre af æresborgerne fik en gade opkaldt efter sig, hvorimod general von Flindt, der var den første, der i 1838 blev æret med udnævnelsen, aldrig fik en gade opkaldt efter sig.