Музей получил название по фамилии владельцев обширного палаццо, частью которого он является.Галерея, как и другие помещения, являлась частным пространством одного семейства, поэтому декорировалась соответственно.По завещанию Олимпии Альдобрандини в собрание вошли шедевры великих венецианцев - Тициана, Тинторетто, Беллини, Бассано. Кроме бюстов кардиналов собрание располагает богатой коллекцией античных памятников, выставленных в Салоне Альдобрандини.