En 1120, Antoine de Pavie embellit le monastère. Il fait bâtir une église circulaire dédiée à Notre-Dame, la Rotonde, et l'église Saint-Pierre dont seuls le clocher et ses quatre gros piliers de soutien subsistent aujourd'hui. Après 1796, l'église abbatiale (sauf le clocher) et les bâtiments monastiques sont vendus comme biens nationaux et transformés en usine. La nef et le chœur de l'église abbatiale sont alors détruits parce qu'ils gênent l'accès à la faïencerie installée dans le côté sud du cloître.
A partir de 1860, une église paroissiale de style néo-romane est reconstruite.
Dans l'église, on peut remarquer à gauche la chapelle Saint-Siméon puis la chapelle historique où se dresse le tombeau de dom Calmet (1873) avec la liste des abbés et le petit mausolée de la famille de Salm.