Durante la Guerra de los Cien Años, el Tratado de Brétigny ofreció Montauban a los ingleses. Se inicia entonces la construcción de un fuerte a orillas del Tarn, quedando la orilla izquierda para los franceses.
En 1664, el obispo Pierre de Bertier decidió construir su nuevo palacio episcopal sobre las ruinas del antiguo fuerte. Tras la Revolución Francesa, se convirtió en el ayuntamiento y albergó el primer museo municipal y la escuela de dibujo.