Dès le XIe siècle, le bourg primitif de Lutry se développe autour du couvent bénédictin. Il reçoit une enceinte entre 1212 et 1220, protégeant la zone comprise entre l’actuelle Place des Halles, à l’ouest, et la Rue des Terreaux, à l’est.

L’essor urbain du XIIIe siècle va provoquer un développement de faubourgs à l’extérieur des fortifications du bourg primitif, conduisant à l’extension du mur de ville autour de ce bourg-neuf. L'angle nord-ouest de ces nouvelles fortifications sera renforcé ultérieurement par deux tours cylindriques rapprochées. 

La tour qui subsiste comporte quatre niveaux dont le dernier, ouvert côté ville, était probablement lié au chemin de ronde. Son parapet à créneaux et merlons, ajouré de petites archères, était peut-être doublé d'une galerie en bois.

Avec sa partie basse pleine, cette tour a dû jouer un rôle de contrefort dans une zone menacée par le cours parfois torrentiel de la Lutrive.

Des travaux de réfection ont été effectués en 1959, tandis que le rempart qui flanquait la tour au nord était remplacé par une façade ajourée.