Cette imposante maison a deux parties bien distinctes:

• au nord, la maison, qui a gardé sa façade gothique flamboyante du début du 16e s., appartenait au 14e siècle à la famille des nobles Mestral de Lutry, puis, dès 1421, à noble Henriette, fille de noble Jean Mestral de Lutry et femme de noble Guy de Prez, originaire de Rue, puis à ses descendants de Prez, bourgeois de Lutry. Cette maison présente un intérêt particulier pour l'histoire de l'architecture: sa façade est une des seules de cette époque en molasse appareillée.
• au sud,  une maison qui a aussi appartenu aux nobles Mestral de Lutry, puis aux nobles de Prez. Elle aussi a dû avoir une façade gothique contemporaine de la première. 

De nos jours, les deux maisons comportent trois niveaux: un rez-de-chaussée très élevé, un premier étage un peu moins haut, un second plus écrasé, le tout dominé par des ouvertures richement taillées.

Histoire du bâtiment

En 1540, les deux maisons, sises entre l'église et le château des nobles Mayor de Lutry, dans une partie du bourg occupée par la noblesse et la haute bourgeoisie locales, furent réunies en une seule par les nobles de Prez; elle comportait des logements, une cour, des caves, des pressoirs, des jardins et une étable. La maison fut acquise vers 1550 par le notaire François Gantin, riche bourgeois de Lutry qui fut Banderet de 1560 à 1569, après la faillite de noble Jean Gaspard, fils de noble Aimé de Prez allié de Villarzel, seigneur de Corcelles-le-Jorat et de Corsier (Corsy-sur-Lutry), fils de noble Guy de Prez et de noble Henriette Mestral de Lutry. François Gantin aura pour successeur son fils Nicolas Gantin, Banderet de 1573 à 1598, Châtelain de 1598 à 1621, qui avait épousé noble Claudine Mayor de Lutry.

Au 17e s. et dans la 1ère moitié du 18e, la maison a pour propriétaires successifs les membres de la famille Bourgeois, d'Yverdon, avant de passer aux vignolans de cette famille yverdonnoise, les Muller, d'origine bernoise et bourgeois de Lutry dès 1664. Les Muller, alliés avec les meilleures familles bourgeoises de Lutry, joueront un rôle très important dans la vie politique et sociale de Lutry jusqu'au milieu du 19e s. La maison a été fortement transformée tant dans la première moitié du 19e s. e s. par les Muller qu'à la fin du 19e s. et au début du 20e s. par Louis et François Buche, père et fils, entrepreneurs. Ce sont les Muller qui ont donné à la maison son aspect bernois. Relativement bien conservé, ce bâtiment compte parmi les monuments les plus remarquables de Lutry, avec, entre autres, la maison Crausaz-Mégroz à la Grand-Rue.

Vers 1830, cette maison fut nommée par le Syndic Jean Charles Muller Le Cloître en mémoire du médiéval Prieuré dont les bâtiments entouraient l'église et pour répondre à la mode romantique naissante de donner des surnoms aux maisons bourgeoises et aux villas à venir; ce n'est pas par erreur historique, comme le veut une tradition tenace, mais volontairement que Muller a choisi cette dénomination.