L‘edificio, che si trova sulla collina di San Martino a Pegli, è il risultato del rifacimento del palazzo di villeggiatura settecentesco appartenuto a Giovanni Battista Grimaldi, doge della Repubblica di Genova dal 1752 al 1754. In origine della famiglia Grimaldi, l’edificio divenne proprietà anche di altre due importanti famiglie dell’epoca, i Durazzo e i Pallavicini, unite da legami di parentela.
Nel suo aspetto attuale neoclassico risale al XIX secolo, quando il Marchese Ignazio Alessandro Pallavicini, nipote della Marchesa Clelia Durazzo che nel 1794 aveva fatto realizzare il giardino botanico, diede il via ai lavori di ristrutturazione del palazzo (1840-1846), alla costruzione del viale di accesso e alla realizzazione, affidata allo scenografo Michele Canzio, del parco, esempio tra i più riusciti di giardino romantico ottocentesco.
Il palazzo, articolato su quattro piani, ha grandi dimensioni con la facciata principale rivolta verso est al di sopra di una piana un tempo ricoperta di orti e frutteti.
Gli spazi e le ornamentazioni dipinte o a stucco delle pareti e dei soffitti del palazzo richiamano il repertorio neoclassico, mentre la decorazione a tempera e stucco della "Sala Verde", riprende motivi tipici del gusto settecentesco. Alla fine dell’Ottocento risale invece l’affresco storico del salone del piano nobile. Alcuni dipinti murali furono realizzati da Michele Canzio e Giuseppe Isola, in parte perduti dopo il crollo del soffitto del 1869. Ignazio Alessandro Pallavicini fece anche rimodellare il loggiato affiancato ad est al corpo della villa con l’aggiunta del terrazzo che mette ora in collegamento il palazzo con il parco.
Nel 1928 la villa fu donata dagli ultimi eredi al Comune di Genova, con il vincolo di destinare l'edificio ad uso culturale e mantenere il parco aperto al pubblico. Dal 1936 il palazzo ospita Il Museo di Archeologia Ligure.