Образован приказом РВС СССР No.446/96 от 28 марта 1924 г. для руководства боевой подготовкой и инспектирования во всех отношениях Красной Армии. Возглавлялся инспектором РЮСА, подчиненным непосредственно РВС СССР. В Инспекторат вошли: управление по войсковой: подготовке (выделено из Штаба РККА и переименовано приказом РВС СССР No.685 от 27 мая 1924 г. в Управление боевой подготовки РККА), управление военно-учебных заведений (приказом РВС СССР No.1180 от 22 сентября 1924 г. вышло из ведения Инспектората и подчинено непосредственно РВС СССР), инспекции: кавалерии, артиллерии, инженерных войск, связи (выделены из соответствующих главных управлений), пехоты, допризывной и военной подготовки трудящихся.
В своей деятельности Инспекторат руководствовался указаниями образованного приказом РВС СССР No.530 от 9 апреля 1924 г. Совета по подготовке РККА, возглавляемого заместителем председателя РВС СССР. В состав Совета входили: инспектор РККА, инспектора родов войск, помощник начальника Штаба РККА, начальники центральных управлений и военных академий.
Приказом РВС СССР No.1333 от 31 октября 1924 г. Инспекторат включен в состав Штаба РККА, должность инспектора РККА совмещена с должностью 3-го помощника начальника Штаба. Этим же приказом упразднялось Управление боевой подготовки, а его функции распределены между инспекциями.
По приказу РВС СССР No.1100 от 13 ноября 1925 г. Инспекторат становится самостоятельным центральным управлением во главе с главным инспектором РККА, с непосредственным подчинением РВС СССР.
Приказом РВС СССР No.390 от 22 июля 1926 г. Инспекторат был включен в состав ГУ РККА, в ведение которого перешло руководство боевой подготовкой войск. На инспекции возлагалось исключительно инспектирование и инструктирование частей и учреждений РККА.
Приказами РВС СССР No.309/59 и 321/61 от 14 и 20 сентября 1928 г. инспекции военно-инженерная и связи по вопросам их деятельности по подготовке сухопутных театров военных действий были подчинены начальнику Штаба РККА. По положению о центральном аппарате Наркомвоенмора, объявленному приказом РВС СССР No.200/40 от 21 октября 1929 г., инспекции: пехоты, бронетанковых сил, кавалерии, артиллерии, инженерных войск, войск связи, военных сообщений, физической подготовки и спорта, противовоздушной обороны-перешли в непосредственное подчинение наркома по военным делам; инспекции Военно-Воздушных, Военно-Морских Сил, снабжений, химических войск находились в составе сопутствующих центральных управлений; по положению об НКО СССР от 22 ноября 1934 г. они также подчинены наркому обороны. Приказом НКО No.01 от 25 июня 1934 г. сформирована инспекция высших военно-учебных заведений РККА. Инспектирование войск проводили также соответствующие центральные управления.
Инспекции НКО СССР прекратили свою деятельность в годы Великой Отечественной войны.