O museu está instalado na antiga residência de Diego Rivera, construída por Juan O’Gorman, nos anos 1930, a pedido do próprio artista.
O projeto arquitetônico foi criado para ser uma estrutura funcionalista e o espaço seria usado pelo casal Diego e Frida como casa e estúdio.
A casa abriga mais de três mil peças do artista e de sua coleção de arte pré-colombiana e artesanato mexicano. No térreo estão móveis e objetos da época em que o casal morava na casa.
Após a morte de Rivera, em 1981, o Instituto Nacional de Belas Artes passou a ter a custódia para organizar e promover o museu.