Horsens by havde siden 1719 haft Det Slesvigske Kyrasserregiment indkvarteret gennem længere perioder, og dette havde også betydning for byens musikliv. Regimentet havde sit eget musikkorps med 12 blæsere, hvoraf flere også arbejdede for stadsmusikanten. Det militære hornorkester gav udendørs koncerter om sommeren på fælleden, i Bygholm Park og senere i Caroline Amalielund.
Da Det slesvigske Kyrassér Regiment blev opløst i 1842 vakte det stor sorg i byen, da man havde sat stor pris på de mange skovkoncerter, som hornorkestret havde glædet byen med gennem årene. Militærmusik kunne dog fortsat høres i byen, da såvel borgervæbningen som det frivillige jægerkorps havde orkestre, men deres musikalske kunnen og repertoire tålte ikke sammenligning med Kyrassér Regimentets musikkorps.