
Durante la Guerra de los Cien Años, el Tratado de Brétigny ofreció Montauban a los ingleses. Se inicia entonces la construcción de un fuerte a orillas del Tarn, quedando la orilla izquierda para los franceses.
En 1664, el obispo Pierre de Bertier decidió construir su nuevo palacio episcopal sobre las ruinas del antiguo fuerte. El palacio se convirtió en ayuntamiento tras la Revolución, y albergó también el primer museo municipal y la escuela de dibujo.

