Histoire du bâtiment
Un receveur des tailles en Quercy fut le premier propriétaire de cette demeure qu’il édifia avec goût. Ambitieux, l’hôtel de Colomb ne s’arrête pas là ! Il s’agrandit par le rachat des maisons aux alentours et la construction de la chapelle Saint-Joseph.
Pour 20 000 livres, les Jésuites acquièrent le bâtiment en 1676. Les murs se souviennent des 300 élèves qui en ont occupé les bancs, dès 1701, lorsqu’il devint un lieu d’enseignement. Ce collège fût réservé principalement aux fils de familles protestantes, soumis à une éducation strictement catholique.