Essa sostituiva una più semplice struttura, eretta intorno alla metà del secolo. Edificata per volere di Giovanni Andrea I, che si avvalse dell’opera dell’architetto Giovanni Ponzello, la nuova costruzione era concepita come una antica villa romana marittima, con terrazze sorrette da colonnati,corte centrale e scalinata di accesso trionfale.

All ’epoca questo corpo di fabbrica sporgeva direttamente sulle acque del mare, ed il portone si apriva sul molo della famiglia, coperto da tappeti e drappi preziosi quando giungevano in visita personaggi illustri. Ma la cinta di mura costruita negli anni Trenta del Seicento dalla Repubblica di Genova lungo l ’arco occidentale del porto creò una diversa situazione: la loggia, perduta la funzione originaria, si affacciava ormai sulla pubblica via posta alle spalle della nuova cortina muraria.

Le immagini del palazzo giunte sino a noi mostrano in massima parte questa sistemazione. Nel XIX secolo la loggia divenne un celebre punto panoramico, dal quale furono eseguite innumerevoli vedute del porto e della città.