Основу МГАМИД составил архив Посольского приказа, в свою очередь поглотивший остатки Московского великокняжеского и Царского архивов. После упразднения Посольского приказа и создания в Петербурге Коллегии иностранных дел сложился текущий архив Коллегии, куда были перевезены дела Приказа за последние годы, большая же часть его документов осталась в Москве. Хранилище, где отложились оставшиеся документы, стало называться Московским архивом Коллегии иностранных дел. В 1724 Архив приобрел статус самостоятельного учреждения – это был первый официально оформленный исторический архив. В 1781 к нему присоединили архив ликвидированной Московской конторы Коллегии. В 1832 после упразднения Коллегии архив получил название Московского главного архива Министерства иностранных дел. Наряду с ним в Петербурге существовал текущий архив – Петербургский главный архив Министерства иностранных дел.

В 1918 МГАМИД был включен в ЕГАФ, образовав 3-е Московское отделение его I секции (законодательства, верховного управления и внешней политики). В 1920 ЕГАФ передан в Государственный исторический архив РСФСР, в 1925 вошел в состав Древлехранилища Московского отделения Центрального исторического архива РСФСР, в 1931 – ГАФКЭ, с 1941 – ЦГАДА.

В состав фондов МГАМИД входили дела Посольского приказа и часть дел приказов, связанных с ним (Великого княжества Литовского, Княжества Смоленского, Малороссийского, Сбора запросных и пятинных денег, Сибирского и четвертных), а также дела Московской конторы Коллегии иностранных дел и самой Коллегии (пересылавшиеся из Петербурга в Москву по миновании надобности).

В архиве Посольского приказа документы группировались поповытьям, в каждом из которых откладывались дела по нескольким странам. Дела др. приказов хранились отдельно. В Московском архиве Коллегии иностранных дел этот порядок был нарушен. Разборка документов началась в 1730-е. Были выделены договоры, статейные списки и посольские книги, дипломатическая переписка и систематизированы по названиям государств и народностей. Эти комплексы, дополненные документами Коллегии, составили группу фондов «Дела по сношениям России с иностранными государствами» и «Дела по сношениям России с народами, вошедшими в состав СССР».

Документы, относящиеся к внутреннему управлению, были в XVIII в. систематизированы в хронологическом порядке, что привело к разрушению документальных фондов. Большая часть этих документов, постепенно описанная, образовала следующие коллекции: «Приказные дела старых лет» (ф. 141), «Приказные дела новых лет» (ф. 158) и «Приказные дела новой разборки» (ф. 159). Вместе с этим был сформирован ряд коллекций, весьма разнообразных по составу: «Розыскные дела» (ф. 146), «Письма и прошения разных лиц на высочайшее имя и высоким особам» (отдельно на русском и иностранных языках, фф. 160, 161), «Комедиальные дела» (ф. 139) и др. В 1960–1980 при систематизации по фондам неописанных материалов к ф. 159 присоединены комплексы документов Посольского приказа, Галицкой, Новгородской и Устюжской четвертей. Все указанные выше фонды составляют группу «Дела по внутреннему управлению».

В 1940–1950-е из состава фондов бывшего МГАМИД переданы в Архив внешней политики Министерства иностранных дел СССР документы Коллегии иностранных дел с 1720.

Все фонды бывшего МГАМИД имеют собственные описи, составленные в к. XIX – н. XX вв., дополненные в ЦГАДА СССР. Научно-справочный аппарат указан в характеристиках фондов и приложениях.