Het Kasteel van Villandry verkeerde tot de zestiende eeuw in anonimiteit, op een zijdelingse vernoeming in een vredesverdrag tussen de Franse koning en het machtige en rijke geslacht Plantagenêt na. In 1532 kwam het namelijk in handen van Jean Breton, de staatssecretaris van financiën van Frans I. Deze was al bezig met de bouw van zijn kasteel Villesavin bij Chambord, toen hij Villandry verwierf. Het was in die tijd een feodaal kasteel met de naam Colombiers. Breton maakte het kasteel echter met de grond gelijk en spaarde hierbij alleen de oude, grijze toren en de slotgracht. Ook de tuinen werden hierna grondig onder handen genomen. Duidelijk in het nieuwe ontwerp was de Italiaanse invloed; Breton was namelijk ambassadeur in Italië geweest en had zich toen in zijn vrije tijd beziggehouden met de Italiaanse tuinkunst. In 1536 werd Villandry voltooid: het was het laatste grote renaissancekasteel dat aan de Loire zou worden gebouwd.

Tot 1754 bleef het Kasteel van Villandry eigendom van de afstammelingen van Jean Breton, maar in dat jaar werd het gekocht door de uit de Provence afkomstige markies van Castellane. Hij paste de gevels aan de klassieke smaak van die tijd aan, bekroonde de oude toren met een paviljoen, veranderde de tuinen naar de nieuwste tuinmode en voorzag het interieur van het kasteel van het comfort van de achttiende eeuw.

Het kasteel dreigde in 1906 gesloopt te worden, maar werd van zijn ondergang gered door de Spaanse dokter Joachim Carvallo en zijn Amerikaanse echtgenote Ann Coleman. Carvallo, de voorvader van de huidige eigenaar, gaf zijn carrière op om zich volledig te kunnen wijden aan de restauratie van zijn kasteel: hij wilde het namelijk herstellen in de staat die het in de zestiende eeuw had. Ook de tuinen werden aangepast, zodat ze beter pasten bij de renaissancestijl van het kasteel. Carvallo was een van de eerste kasteeleigenaren die zijn kasteel openstelde voor publiek.

citaat van Joachim Carvallo

"Ik bevond me nabij Lyon toen ik over deze eigendom hoorde praten. Ik ben het gaan bezoeken. Het kasteel was volledig gebouwd uit vensters, balkons en met openingen in trompe-l’oeil geschilderd. Het park was in Engelse stijl aangelegd, met golvingen en heuveltjes (…), aangeplant met verschillende exotische plant- en boomsoorten die recent ingevoerd werden: ceders, pijnbomen, thuja’s, magnolia’s, gegroepeerd op de achterzijde van een kunstmatig aangemaakt bergje. Het kasteel zelf lag verborgen in het midden van een bos en van het groen. Het geheel beviel me echter. De prijs leek me niet te hoog. De verkoopakte werd binnen het uur ondertekend. Na overmatig drankgebruik is de man twee dagen erna gestorven. In het begin van 1907 kwam ik in Vallendry wonen; terwijl ik het kasteel en de omgeving onderzocht, werd ik bang van de enorme last, die ik op me had genomen. Gedurende de eerste maanden heb ik me bijna uitsluitend bezig gehouden met werken aan de inrichting en de toiletten van het kasteel (…). Pas in de maand september van 1907 ben ik kunnen starten met de effectieve werken" (zelfde ref., p .31).

Op deze manier kon hij het kasteel redden dat op het punt stond om gesloopt te worden, en hij ontwierp, in totale harmonie met de renaissance-architectuur van het kasteel, de tuinen zoals we ze vandaag kunnen bezichtigen.

Hij bemeubelde het en installeerde er een belangrijke collectie van schilderijen van meesters uit de antieke Spaanse schilderkunst, tentoongesteld te Parijs in 1929. Na zijn dood geraakten die verdeeld; enkele schilderijen en beelden uit deze collectie werden weergegeven in een souveniralbum met 24 panoramische uitzichten van Villandry. (Tours, R.Dorange éditeur, s.d. - arch. pers.).

Joachim Carvallo rust sinds 15 maart 1936 in de seigneuriale grafkelder van de kerk van Villandry. In 1924 verenigde hij de eigenaars van historische kastelen door het oprichten van de eerste Franse vereniging ter bescherming van privaat monumentaal erfgoed: La Demeure Historique. Hij was ook een van de eersten die zijn kasteel openstelde voor het publiek.