Il nucleo centrale è ricavato sulle strutture di un trecentesco castello Carrarese edificato sulle rive del Brenta su strutture ancora più antiche, probabilmente di prima del mille.
Dalla metà del cinquecento diviene villa di campagna dei nobilissimi veneziani Contarini che iniziarono una graduale trasformazione volta a farne un edificio di rappresentanza e di esibizione dello sfarzo e della raffinata cultura della famiglia che diede alla Serenissima anche alcuni Dogi.
Nel seicento vennero aggiunte le due ali laterali alla villa e poco dopo iniziarono i lavori per una grandiosa piazza racchiusa tra le ali semicircolari di imponenti edifici porticati, 'i volti' (volto=arco), e con una terrazza interamente pedonale a formare una vera e propria via. Venne completato solamente l'emiciclo sinistro, alla destra vennero successivamente sistemate delle file di platani abbattuti qualche decennio fa e sostituiti da nuova vegetazione.
Si ipotizza l'intervento del Palladio e spesso la villa viene elencata tra le opere palladiane, più probabilmente il Palladio contribuì in maniera indiretta.
Lo stesso era impegnato nella costruzione di diverse ville nel circondario, in particolare la splendida, classicissima, Villa Paccagnella a Presina, sempre in comune di Piazzola sul Brenta.
Tra il sei ed il settecento il massimo splendore, impreziosito da un ricchissimo apparato decorativo con grandi affreschi, statute allegoriche e facce, mobilia ed oggetti preziosi dal raffinatissimo gusto barocco e rococò.
E' l'epoca delle grandi feste della nobile mondanità veneziana, della musica e del teatro.
La villa è famosissima per la sala centrale disposta come una grande cassa di risonanza dall'acustica superba, luogo ideale per la registrazione di numerosi concerti barocchi.
La villa, suddivisa in numerose stanze tematiche e adattate a sale mostra, è attraversata in tutta la sua lunghezza da un corridoio di 180 metri.
Nell'ottocento vennero aggiunte, o riviste, le scuderie, ad imitazione delle scuderie imperiali viennesi, e l'ippodromo, e sistemato un magnifico parco romantico con laghetto e pescherie.
Nel dopoguerra l'abbandono della villa ed il declino, fino agli anni '70 quando venne acquistata prima dalla Simes (casa farmaceutica), quindi dalla fondazione 'G.E.Ghirardi' che procedette ad un radicale ed importante lavoro di restauro non ancora terminato.
Da allora la villa è aperta al pubblico e sede di importanti mostre.