Le musée existe depuis 1781, sur décision de l'impératrice Marie-Thérèse d'ouvrir au public le fonds issu de la réunion des collections constituées par le Habsbourg. L'impératrice en favorisera elle-même l'accroissement par les acquisitions faites après la suppression de l'ordre des jésuites. C'est en 1891 qu'a lieu son transfert dans l'édifice actuel qui abrite, en outre, les sections archéologie et arts décoratifs.
Parmi les œuvres les plus significatives, citons celles de Dürer, de Bruegel l'Ancien, de Titien; un ensemble important d'artistes flamands, dont Van der Goes, Van der Weyden, Van Eyck, Rubens, Van Dyck ; une série de portraits de Velazquez.
La section italienne est admirable, avec le Retable de San Cassiano d'Antonello de Messine, ou Les Trois Philosophes de Giorgione.
Parmi les pièces les plus célèbres, le musée compte, en outre, la salière réalisée par Benvenuto Cellini pour François Ier.