Ce village fut créé en 1144 par Alphonse Jourdain à proximité du château.
Le compte le nomma « Ville-Aimée » ou « Isle-Amade » (Villa-Amada, Isla-Amada), nom métamorphosé au 13è siècle dans les documents latins en « Ville-Humide » (Villa-Madida), pour devenir enfin « Villemade ».
Avant les fondations du village, le mamelon sur lequel il était battit portait le nom d’Ile, baignée à l’est par un Grand Lac et, côté Tarn et Aveyron, par les marais des deux rivières. Une histoire véritablement bercée par le rythme de l’eau.
Bien avant la construction du village, une ville romaine était implantée au même endroit, sur les 2 rives du Tarn. Détruite en 407 par les Vandales, seuls son nom de « Ville-Vieille » et quelques ruines romaines attestent l’existence de cette antique cité, dont l’emplacement appartint longtemps à l’Abbaye de Saint Théodard.