Construido en 1916 a petición de la familia Zanelli. En 1925 fue adquerido por Pascual Baburizza, quién introdujo una serie de modificaciones interiores, además de elementos decorativos en la fachada de la obra.El 8 de junio de 1971 se inagura la tercera sede del Museo, esta vez es lo que fuera la residencia de don Pascual Baburizza, adquirida por la I. Municipalidad de Valparaíso, para este fin se exhiben obras de Rugendas y Sommerscales.
De los artistas europeos se pueden apreciar obras de los franceses Rousseau y Boudin y del holandés Jengkine, entre otros. De los artistas chilenos destacamos la presencia de Valenzuela Puelma, Camilo Mori, Pachecho Altamirano, Juan Francisco González, Pedro Lira y Cosme San Martín