Для заведования музеем, Архипастырем был учреждён комитет, состоящий из 5 лиц. В 1898 году комитет состоял из следующих лиц: 1) председателя — ключаря Рижского собора Рождества Христова священника Владимира Игнатьевича Плисса, 2) делопроизводителя — секретаря Консистории Петра Павловича Соколова, который своей опытностью в этом деле весьма много содействовал скорому и успешному устройству музея, 3) хранителя — Павла Львовича Синайского, много потрудившегося по рассортировыванию и размещению поступивших в музей предметов, 4) казначея свящ. Ивана Васильевича Щукина и 5) священника Александро-Невской церкви г. Риги — Василия Петровича Березского.

Комитет обратился к епархиальному духовенству с просьбой о доставлении икон, церковных книг и вещей, не находящихся в употреблении при богослужении, а также — о личных пожертвованиях подобных предметов. Вместе с тем комитет рекомендовал не упускать из внимания случаев раскопок старинных насыпей или курганов, находящихся в пределах приходов, и усердно располагать местных жителей, в случае нахождения ими каких-либо предметов церковной старины и вообще древнего быта и жизни населения Прибалтийского края, к пожертвованию таковых предметов в Рижский церковно-археологический музей, разъясняя при этом значение и цель учреждения этого музея. Духовенство отнеслось сочувственно к музею. В короткое время в него поступило много предметов православной и местной старины, которые были приведены в порядок и рассортированы ко времени X археологического съезда, происходившего в Риге в августе 1896 года.

Посетившие во время археологического съезда рижский церковно-археологический музей знатоки нашей церковной старины выражали удивление при виде в г. Риге большого собрания церковных древностей. Музей превзошёл ожидания интересовавшихся им лиц. Поступившие в музей археологические предметы были размещены по шкафам, полкам и витринам. Благодаря просвещённому сочувствию весьма многих лиц из местного духовенства, а также и других лиц к учреждению музея, в короткое время, в течение 2-3 месяцев, комитету удалось достигнуть сравнительно хороших результатов. Поступившие предметы были распределены на три главные группы: 1) древности церковные православные, 2) древности церковные инославные и 3) гражданские древности.

К 1898 году в 1-й группе значилось 82 номера икон (в количестве 86 экземпляров), 11 крестов, 28 сосудов, 26 номеров церковных одежд и утвари (в количестве 30 экз.), 97 номеров книг (в количестве 138 экз.) и 18 номеров рукописей — всего 261 номер в количестве 313 экземпляров. Во второй группе значилось: икон и других предметов 17 номеров (в количестве 31 экземпляра), книг 65 номеров (в количестве 77 экз.) и рукописей 10 — всего во 2-й группе 92 номера (в количестве 118 экз.). В третьей группе значилось: разных предметов — монет, украшений 65 номеров (в количестве 237 экз.), рукописей 2 — всего — 67 номеров (в количестве 239 экз.).

В музее находилась коллекция старинных икон, среди которых первое место в художественно-археологическом отношении было отведено иконам, принадлежавших прежде о. Павлу Прусскому. В числе этих икон были превосходные образцы русских иконописных школ XVII века, московской и строгоновской. С иконографической точки зрения заслуживали внимания композиции: «Чин монашеского пострижения», «Архангел Михаил, провожающий евреев в пустыни», «Благовещение со служанкой», «Похвала Богородицы», «О Тебе радуется». Известный специалист по иконографии, профессор С.-Петербургской духовной академии и археологического института Н. В. Покровский обратил внимание на одну икону Благовещения, хотя и не очень древнего письма, но весьма редкой композиции, заметив, что он видал тысячи разных икон, но нигде не встречал подобной. С таким же интересом отнёсся к этой иконе и профессор Московской академии Голубцов. На иконе была изображена Пресвятая Дева Мария, которую приветствует архангел; вверху иконы Господь Саваоф и св. Дух, от Которого лучи простираются не на Пресвятую Деву, а на ангела; рядом с архангелом изображён другой ангел, ведущий за собой св. Евфимия и св. Евфимию (символ Благовещения (?)). Эти же профессора, а также профессор Киевской академии Н. И. Петров, Лашкарёв и г. Шляков указали ещё несколько редких и ценных икон.

В музее находилось собрание старинных книг и рукописей церковно-славянских XIV—XVIII вв. Среди последних заслуживал особого внимания свиток-азбука с роскошными инициалами, разными начертаниями букв и поучительными сентенциями, с подписью в конце: «Зри, смотри, внимай всем сердцем прилежно и Господа Бога на помощь призывай. Великие и превысочайшие пресветлые царские степени. От царя и великого князя Алексея Михайловича всея Русии. Владыко Человеколюбче Господи, яко насытил мя земных Твоих благ и не лиши мене небесного Царствия Твоего; словеса убо сия прейде в конец». Первые два листка («а» и «б») не имели ни инициалов, ни начертаний букв: они по-видимому сохранились не сполна и даже, может быть, попали сюда из другого экземпляра; листа с буквой «с» нет, на букву «е» два листа.

Из других предметов особенное внимание членов съезда обратила епитрахиль (пожертвование Рижского Архиепископа Арсения), на которой вышиты шёлком лики святых. По мнению г. Шлякова, любитель подобных вещей мог предложить за неё до 1000 рублей серебром. Владыкой пожертвованы в таком же роде и воздухи. Кроме того Архипастырь передал в музей металлический бюст митрополита Исидора, автограф письма Феодосия Черниговского и рукописную книгу под заглавием: «Зрелище сие есть книг божественных, ветхих и новых повестей священных» 1674 года.

Благодаря Рижскому церковно-археологическому музею история православия в Прибалтийском крае была поставлена на твёрдую почву.