El Museo Nacional de San Carlos fue construido a instancias de doña María Josefa Pinillos y Gómez, para regalarlo a su segundo hijo, para el que adquirió un título de conde; por esta razón se le conoce al Museo Nacional de San Carlos como el Palacio del Conde de Buenavista, aunque su pretendido dueño jamás llegó a ocuparlo.
El diseño del Museo Nacional de San Carlos, se debe a Manuel Tolsá y data del siglo XVIII. Entre otros usos, el palacio albergó al llamado Museo de Objetos Raros, que se trasladaría después al Museo del Chopo; fue fábrica de cigarros, sede de la Lotería Nacional y de la Escuela Nacional Preparatoria #4.
Por su notable estilo neoclásico, fue destinado al Museo Nacional de San Carlos, que contiene las colecciones de arte europeo de la Academia de San Carlos (siglos XV y XIX) y de escultura mexicana del siglo XIX.
El palacio del Museo Nacional de San Carlos, se distingue de otros edificios de su tiempo por su curioso patio de forma oval. El Museo Nacional de San Carlos se encuentra en la calle Puente de Alvarado, que es la misma vía que avenida Hidalgo, pero con diferente nombre.
