Образована декретом СНК от 15 (28) январи 1918 г. при Наркомвоене в составе пяти членов: двух (позднее трех) представителей от Наркомвоена и двух-от Главного штаба Красной гвардии. На Коллегию возлагались: направление и согласование деятельности местных организаций по формированию новой армии, учет вновь формируемых боевых единиц, руководство формированием и обучением войск, обеспечение их вооружением и всеми видами довольствия, разработка новых уставов, инструкций. По декрету в составе Коллегии были образованы отделы: организационно-агитационный, формирования и обучения, мобилизационный, вооружения, снабжения, транспортный, санитарный, финансовый, затем созданы отделы ветеринарно-санитарный, службы связи, учета, финансовый, центральное делопроизводство, комендатура.
С апреля 1918 г. началось слияние отделов Коллегии с другими центральными управлениями: ветеринарно-санитарного отдела с Ветеринарным управлением, отдела службы связи-с соответствующим отделом Наркомвоена. По приказу Наркомвоена No.300 от 23 апреля 1918 г. организационно-агитационный отдел вошел в состав Всероссийского бюро военных комиссаров, где получил наименование агитационно-просветительного отдела.
Приказом Наркомвоена No.339 от 8 мая 1918 г. Коллегия включалась в состав вновь образованного Всероглавштаба, кроме отдела вооружения, который продолжал свою деятельность под названием Всероссийской коллегии по вооружению вплоть до ликвидации приказом Наркомвоена No.606 от 3 августа 1918 г.