C’est à la famille d’Amboise, et notamment à Charles de Chaumont d’Amboise, gouverneur d’Italie, que l’on doit la transformation du château.
La plupart de la structure actuelle (le bâtiment principal central et la chapelle), est érigée à Partir de 1473 par Charles 1er d’Amboise, chambellan et conseiller du roi Louis XII.
Cette construction dure de 1473 à 1510. Elle débute sous Charles 1er d’Amboise et se termine sous Charles II d’Amboise, son fils, sous le contrôle du Cardinal d’Amboise.
Suite à la visite du Roi Louis XII, Charles de Chaumont fait recouvrir une partie de la tour dite des Sarrasins par un chapeau de plomb sur lequel figurent un porc-épic couronné doré (emblème du roi) avec douze L et douze fleurs de lys dorés.