Este pueblo fue creado en 1144 por Alphonse Jourdain cerca del castillo.
El conde la bautizó con el nombre de «Ville-Aimée» o «Isle-Amade» (Villa-Amada, Isla-Amada), nombre que fue cambiado en el En el siglo XIII, el nombre se cambió en documentos latinos a «Ville-Humide» (Villa-Madida), y finalmente a «Villemade».
Antes de la fundación del pueblo, la loma sobre la que se asienta era conocida como una isla, bañada al este por un gran lago y, en los lados del Tarn y del Aveyron, por las marismas de los dos ríos. Una historia verdaderamente marcada por el ritmo del agua.
Mucho antes de que se construyera el pueblo, en el mismo lugar, a ambas orillas del Tarn, existía una ciudad romana. Destruida en 407 por los vándalos, sólo su nombre de «Ville-Vieille» y algunas ruinas romanas atestiguan la existencia de esta antigua ciudad, cuyo emplazamiento perteneció durante mucho tiempo a la abadía de Saint Théodard.