La salle du Prince Noir est en fait le seul vestige du palais construit au XIVè siècle durant l'occupation anglaise.
Les Anglais furent maîtres de Montauban de 1361 à 1369, ils entreprirent alors la construction d'un château qui ne fut achevé qu'au XVIIè s. (l'actuel musée Ingres à montauban)