Друзья тщетно пытались продать собрание другим коронованным особам. Их предложение создать государственную художественную галерею в Лондоне было отвергнуто правительством. В итоге Буржуа завещал собрание колледжу в Даличе под условием, что тот выделит землю для строительства мавзолея Буржуа и Дезанфана, а также выстроит для экспонирования картин здание общедоступного музея. Уточнялось и имя архитектора — сэр Джон Соун. Поскольку средства Буржуа были ограничены, Соун возвёл для музея непритязательное кирпичное здание без обязательных для эпохи классицизма колонн. Это один из первых в истории примеров чисто музейной архитектуры.

Далиджская галерея распахнула свои двери в 1817 году; молодые лондонцы спешили в Далич копировать шедевры старых мастеров. В первое время коллекция пополнялась за счет завещательных отказов. Так, свои собрания портретов оставили музею в Даличе художник Уильям Бичи (1753—1839) и музыкант Уильям Линли (1771—1835, брат Э. Линли-Шеридан). О посещении Далиджской галереи господином Пиквиком упоминает в своём романе Диккенс. В 1824 году была основана Лондонская Национальная галерея, и интерес к её старшему собрату стал падать.

В середине XX века музей дважды оказывался в центре внимания: в июле 1944 года в усыпальницу основателей музея попала немецкая бомба, а в 1966 году из музея были похищены по три работы Рубенса и Рембрандта. Среди последних — портрет Якоба де Гейна III, который из музея выносили в общей сложности четырежды (своеобразный рекорд музейного мира). Скотленд-Ярд оперативно вычислил злоумышленников и вернул в музей украденные полотна.

В 1994 г. музей был выведен из ведения Даличского колледжа, получив форму самостоятельного благотворительного фонда, а в 1999 г. к историческому зданию музея была добавлена современная пристройка.

Далиджская картинная галерея даёт представление о вкусах ценителей искусства в эпоху Просвещения. При составлении коллекции Буржуа и Дезанфан сделали ставку на голландских, фламандских и французских художников XVII века. Музей располагает более чем десятью полотнами таких мастеров, как Рубенс, Тенирс, Пуссен, Кёйп, Вауэрман. Хорошо представлены и британские портретисты XVII—XIX вв.