På den sydvendte skråning ned mod Horsens Fjord, ved den ene af Bygholm Å’s to arme, valgte vikingetidens bønder og handelsfolk at anlægge en by. Langs åens nordside voksede byen op i løbet af middelalderen, og ved at befæste åbrinken med bolværk opstod den første åhavn.
Åen var fladbundet og sandede nemt til, så man i 16- og 1700-årene havde problemer med at få sejlskibene ind til pakhusene. Man måtte derfor sejle godset ind til kajen på fladbundede pramme.
I 1802 anlagdes det første udgravede havnebassin øst for den gamle åhavn, og da de dybtgående dampskibe senere overtog sejlskibenes transport, måtte den ydre havn i 1850 uddybes og udvides. Adgangen til den gamle åhavn var ikke længere nødvendig, da al havnetrafik nu foregik til og fra den ydre havn.
Åen blev voldsomt forurenet af spildevand, der gennem åbne rendestene blev ledt fra alle byens husholdninger og fabrikker, og efter 20 års diskussion blev åen fyldt op i 1903. Herefter blev der anlagt en bred boulevard, der i 1908 fik navnet Åboulevarden.
Se også artiklen om Åen
Se næste stop på byvandringen