地方官制在秦汉时，本来只有郡、县二级，后因地方权力不断扩大，就增置刺史或州牧，直属丞相，以制约太守，于是地方官制就由二级变为三级了。隋初地方制还是州郡、县三级，据《隋书·地理志》载，杨坚即位时，有州201个，郡508个，县1，124个。州、郡、县均分为上上至下下九等。一般都有两套职官，一套由吏部直接任命的官员，州除刺史外，还有长史、司马、录事参军事、功曹、户曹参军事等；一套由刺史直接辟置的官员，如典签、州都、郡正、主簿、西曹书佐、祭酒从事、部郡从事、仓督、市令等。郡也是如此，除郡太守、郡丞、郡尉由吏部直接任命外，还有光初光曹、光初主簿、县正、功曹、主簿、西曹、金、户、兵、法、士诸曹，均由郡太守自行辟置。县除主官由吏部任命外，其僚佐也由县令自行辟置。这套州、郡、县地方行政机构十分庞大，上上州额定官员323人；上中州311人；就是下下州也有156人。上上郡额定官员为146人，上中郡为141人，下下郡也有97人。上上县额定官员99人，上中县95人，下下县也有47人。州、郡、县如此之多，官吏设置如此之滥，出现了“或地无百里，数县并置；或户不满千，二郡分领”的狭小区域，形成了“民少官多、十羊九牧”的地方行政机构。杨坚接受了杨尚希的建议，按照“存要去闲，并小为大”的原则，于开皇三年（公元583年）对地方行政机构进行了大规模的精简整顿，把州、郡、县三级制，改为州、县二级制，罢天下诸郡，以州直接统县。州设刺史，县设县令。县下五家为保，五保为闾，四闾为族，分置保长、闾正、族正（京畿以外置里正、党长）。