N'ayant plus de toit après le ravage causé par Bernois, Français et Genevois, les moines vivent alors dans les maisons avoisinantes.
Sous l'impulsion de François de Sales - futur saint - une nouvelle communauté religieuse s'installe à Contamine : Les Clercs réguliers de Saint Paul appelés communément Barnabites.
La bulle du pape Urbain VIII confirmant leur remplacement par les nouveaux religieux, est lue aux Clunisiens, le 7 octobre 1625, sur le cimetière devant l'église.
De suite, la nouvelle communauté fait construire de nouveaux bâtiments, sur de magnifiques caves voûtées, avec une tour au centre de la façade (escalier).
En 1625, Louis Jovard accepte le prix-fait (devis) pour crépir le nouveau couvent. En 1629, un maçon originaire de la Val Sésia est chargé de la construction du mur d'enceinte que nous distinguons encore aujourd'hui, ainsi qu'un bel escalier permettant de sortir de l'enclos vers un point d'eau.
Au bas de l'escalier, existe un bassin et une belle arrivée d'eau en "rocailles", ayant peut-être servi de vivier.
Avant la Révolution (1764 ?) les Barnabites construisent les deux étages inférieurs de l'aile du bâtiment sud-ouest, enserrant ainsi la chapelle Notre-Dame du Suffrage bâtie en 1677.
Si l'on observe la façade sud du corps du bâtiment dans lequel se trouve la chapelle, on peut voir un arrachement avec piédroit et système de voûtement en plein cintre, qui indique qu'il y avait là un passage orienté nord-sud, aujourd'hui obturé par un bouchon dans lequel a été placé une fenêtre en molasse. Ce large passage pouvait laisser circuler chevaux et chars. Il conduisait directement à l'entrée de la chapelle et communiquait avec un autre passage orienté est-ouest. Ce dernier (peut-être créé en 1764) prenait naissance dans une petite cour intérieure à l'est.
Le troisième étage sera élevé par les fabricants de cotonnades en 1821.
Des réparations ou destinations de pièces ont été réalisées par les Rédemptoristes, et ensuite par l'Ecole d'Agriculture.
Ces bâtiments sont désaffectés depuis 1979
