На период создания он являлся единственным в мире специализированным музеем ковра. Самые важные задачи этого учреждения – хранение, исследование и демонстрация уникальных образцов коврового искусства, являющегося национальным достоянием Азербайджана. Инициатором создания музея был Лятиф Керимов – выдающийся ученый и ковроткач, основоположник науки о ковроделии, художник и педагог, автор фундаментального труда "Азербайджанский ковер".

26 апреля 1972 года в здании Джума мечети, памятнике XIX века, состоялось торжественное открытие экспозиции музея. В открытии музея принял участие первый секретарь ЦК КП Азербайджана Гейдар Алиев, с первых дней существования музея оказывавший ему огромную поддержку. В 1970-1980-е годы при постоянной помощи руководства страны музей имел возможность регулярно приобретать изделия народных промыслов и тем самым пополнять фонды музея. Именно в те годы для музея были приобретены шедевры коврового искусства Азербайджана.

В 1992 году Азербайджанский государственный музей ковра и народно-прикладного искусства переехал в здание Музейного центра на проспекте Нефтяников. В прошлом это был Музей имени Ленина, но в 1991 году, после распада СССР, по распоряжению президента Азербайджана Аяза Муталибова это здание было передано Министерству культуры Азербайджанской Республики и получило название Музейного центра. В тринадцати просторных залах второго этажа располагалась экспозиция музея, представляющая образцы ковроткачества из разных регионов Азербайджана, а также произведения других видов прикладного искусства.

В 2007 году в рамках совместного проекта Фонда Гейдара Алиева, Министерства культуры и туризма Азербайджанской Республики и ЮНЕСКО президент Азербайджана Ильхам Алиев подписал указ о создании на территории Национального приморского парка нового здания музея. В 2014 году под руководством австрийского архитектора Франца Янса было завершено строительство музея, в котором и обосновалась экспозиция, отвечающая самым современным требованиям музейного дела.

В течение 50-летней деятельности музей сменил несколько руководителей. С 1967 по 1982 год им руководил заслуженный деятель искусств Азиз Алиев, с 1982 по 5 января 2016 года − заслуженный работник культуры, доктор искусствоведения, профессор Ройя Тагиева. Со 2 марта 2016 года музей возглавляет Ширин Меликова, заслуженный работник культуры, доктор философии по искусствоведению.

Музей стал научно-исследовательским и культурно-образовательным центром, где проводятся выставки, международные симпозиумы и конференции. За почти 50-летний период своего существования музей организовал более 30 выставок в различных странах мира. В 1983 году по инициативе Гейдара Алиева и при содействии ЮНЕСКО в Баку состоялся симпозиум на тему "Искусство восточных ковров". При непосредственном участии Азербайджанского музея ковра в 1988 году в Баку был организован международный симпозиум "Азербайджанское ковровое искусство", в 2003 году – "Азербайджанское ковровое и народно-прикладное искусство". В 2007 году симпозиум, посвященный 100-летию Летифа Керимова, прошел в Париже, в штаб-квартире ЮНЕСКО.

Музей активно развивает отношения со многими влиятельными международными организациями, такими как Европейская текстильная сеть (ETN), Европейский музейный форум (EMF), Международный совет музеев (ICOM), ЮНЕСКО и Межгосударственный фонд гуманитарного сотрудничества государств-участников СНГ (МФГС).

В 2004 году при участии музея был подготовлен и принят закон "Об охране и развитии Азербайджанского ковра". В законе нашли отражение ключевые задачи по сохранению и развитию искусства ковроткачества, в том числе составление реестра азербайджанских ковров, обеспечение государственной поддержки народного творчества, подготовка научных и методических кадров.

В 2010 году по инициативе первой леди Азербайджана, президента Фонда Гейдара Алиева и Фонда культуры Азербайджана, Мехрибан Алиевой азербайджанское ковровое искусство было включено в репрезентативный список Нематериального культурного наследия человечества ЮНЕСКО.

Решением Кабинета министров Азербайджанской Республики от 15 июля 2019 года за исключительные заслуги в области охраны и пропаганды коврового искусства нашей страны Азербайджанскому музею ковра был присвоен статус «Национальный».

В настоящее время Азербайджанский национальный  музей ковра, расположенный в одном из самых современных зданий города Баку, не только хранит богатую коллекцию предметов материальной культуры Азербайджана и, прежде всего, ковров – самого ценного наследия нашего народа, но также ведет активную деятельность, направленную на всестороннее исследование азербайджанского коврового искусства и его популяризацию в мировом культурном пространстве.

Коллекция музея

В Государственном музее азербайджанского ковра и народно-прикладного искусства хранятся ценные исторические экспонаты и произведения искусства из Губы, Габалы, Ширвана, Казаха, Табриза, Эривани, Гянджи, Шеки и других городов и регионов, охватывающие всю многовековую историю Азербайджана. Это — археологические памятники, относящиеся к бронзовой эпохе (черные керамические и бронзовые предметы), фаянсовая посуда XII века, художественное шитьё и национальная одежда XIX века, металлические, деревянные, стеклянные и ювелирные изделия, оружие, ковры и ковровые изделия с национальными орнаментами и сюжетами, связанные с народным ремеслом, ховлу (халча, халы, дест халы, гебе), ховсуз (палас, килим, чечим, сумах, шедде, варни, зили), разнообразные ковровые изделия — хурджун, чул, хейба, мафраш, ехар гашлыгы и др.).

Самым старинным предметом коврового искусства в музее является фрагмент тебризского ковра «Овчулуг» XVII века. Ещё одним ценным экспонатом музея является ковёр XVIII века «Хила Афшан», сотканный в селении Хила (Амирджан) близ Баку. Некоторые ковры представленные в музее являются семейными реликвиями, проданными или подаренными музею. Среди них можно назвать хурджун 1724 года, представлявший собой подарок жениха невесте, а также чулу (попона) 1727 года.

Коллекция музея включает в себя группу ковров из бывшего музея ковра в Шуше. Когда во время Карабахской войны Шуша оказалась в армянской осаде в начале 1992 года, сложилась реальная угроза для ковров, которые могли быть потеряны или уничтожены во время войны. В попытке сохранить эти редкие артефакты, директор шушинского музея вывез около 600 из города в армейских автомобилях. Сегодня эти ковры можно увидеть в Бакинском музее на выставке под названием «Сгоревшая культура».

18 июня 2013 года супруга члена Чикагского общества восточного ковра и текстиля Гровера Шильца Беверли Шильц передала музею два азербайджанских ковра из личной коллекции мужа. Это «Драконий ковёр» XVII века из Карабаха и «Сальянская хила» XIX века из Ширвана.