Образован приказом Наркомвоена No.339 от 8 мая 1918 г., к нему отошли функции Всероссийской коллегии по организации и управлению Красной Армии, а также существовавших еще военных органов старой армии-Главного управления Генерального штаба, Главного штаба, Главного управления военно-учебных заведений и Управления по ремонтированию армии. Во главе Всероглавштаба стоял Совет в составе начальника штаба и двух, а с 15 сентября 1919 г.-трех политических комиссаров. Совет объединял деятельность всех управлений Всероглавштаба, непосредственно подчинялся Наркомвоену, а с 6 сентября 1918 г.-Реввоенсовету Республики.
Всероглавштаб ведал формированием, устройством и обучением Красной Армии, разработкой всех вопросов, связанных со строительством армии. На него возлагались: составление всех планов и распоряжений по мобилизации; призыв на военную службу; комплектование личным составом действующей армии, тыловых и запасных частей; руководство всеми местными мобилизационными учреждениями; пополнение армии лошадьми; разработка положений по управлению войсками, штатов, уставов и наставлений; руководство военно-учебными заведениями, организация сети командных курсов, учет и распределение командного состава; организация всеобщего военного обучения; проведение топографических съемок, составление топографических карт; сбор сведений о потерях на фронтах, подготовка наградных документов. В октябре 1918 г. на Всероглавштаб было возложено устройство, боевая подготовка, руководство службой, вооружение войск вспомогательного назначения, пограничной охраны и войск ВЧК,
По приказу РВСР No.175 от 3 ноября 1918 г. Всероглавштабу подчинялись военные округа.
Первоначально в состав Всероглавштаба входили управления: оперативное, по организации армии, по командному составу, военно-учебное, по ремонтированию армии, военно-топографическое, военных сообщений. В течение 1918-1919 гг. в структуре Всероглавштаба произошли изменения. По приказу Наркомвоена No.601 от 3 июля перешло в Высший военный совет управление военных сообщений; приказом Наркомвоена No.688 от 13 августа 1918 г. учреждена Военно-историческая комиссия; в ноябре 1918 г. прекратило свою деятельность оперативное управление, а все вопросы оперативного характера передавались в компетенцию Полевого штаба РВСР. С введением обязательной воинской повинности приказом РВСР No.142 от 24 октября 1918 г. во Всероглавштабе создавалось мобилизационное управление (15 марта 1920 г. передано в Полевой штаб РВСР). С расширением всеобщего военного обучения и допризывной подготовки приказом Всероглавштаба No.43 от 6 декабря 1918 г. военно-учебное управление, состоявшее из двух отделов-всеобщего военного обучения и военно-учебных заведений, было реорганизовано: первый отдел развернут в управление всевобуча Всероглавштаба (с 17 января 1919 г.-Главное управление), а второй-приказом Всероглавштаба No.17 от 14 января 1919 г. преобразован в Главное управление военно-учебных заведений (ГУВУЗ).
Структуру Всероглавштаба к 1 сентября 1920 г. составляли следующие управления: организационное (в его составе были созданы интернациональный и восточный отделы), мобилизационное, по командному составу, управление корпуса военных топографов, Главное управление военно-учебных заведений, Главное управление всеобщего военного обучения и формирования красных резервных частей, управление центральных военных складов учебных пособий и приборов для войск и военных комиссариатов, Военно-историческая комиссия, Комитет по выработке форм обмундирования и снаряжения Красной Армии, Главная военно-научная редакция, редакция журнала "Военное дело".
В целях создания единого органа управления вооруженными силами приказом РВСР No.336/41 от 10 февраля 1921 г. Всероглавштаб и Полевой штаб РВСР были слиты в единый Штаб РККА.