Первые губернские жандармские управления были созданы в 1867 г. для политического сыска, производства дознаний по государственным преступлениям в пределах их губерний. С организацией охранных отделений функции губернских жандармских управлений меняются и за ними остается, главным образом, производство дознаний по политическим делам.

Согласно инструкции 1904 г. в обязанность ГЖУ входило наблюдение за местным населением и за направлением политических идей общества, доведение до сведения высших властей информации о беспорядках и злоупотреблениях, производство дознаний по делам о государственных преступлениях, производство расследований согласно Положению о государственной охране, осуществление негласного полицейского надзора, наблюдение за лицами, проезжающими через границу, наблюдение за иностранными разведчиками, розыск и наблюдение за лицами, укрывающимися от властей, оказание помощи общей полиции в восстановлении нарушенного порядка, конвоирование арестантов. Эти обязанности выполняли и областные жандармские управления. В тех губерниях, где не было охранных отделений, они продолжали выполнять свои прежние обязанности – розыскную деятельность.

В административно-строевом отношении жандармские управления подчинялись непосредственно Штабу отдельного корпуса жандармов, по части политического розыска – сначала III Отделению с.е.и.в. канцелярии, с 1881 г. – Департаменту полиции. В уездах были учреждены должности помощников губернских жандармских управлений. В губерниях Привислинского края они именовались не помощниками, а начальниками уездных жандармских управлений. В других местностях их наименование соответствовало существовавшему территориальному делению (помощник начальника в округе, отделе, области, губернии). В подчинении начальников ГЖУ были крепостные и портовые жандармские команды и жандармские пограничные пункты. Район деятельности ГЖУ определялся границами губернии, области, уезда, округа, отдела. В России до Февральской революции 1917 г. действовало 75 губернских жандармских управлений.