在漫长的历史沿革过程中，地方行政机构的组成层次曾出现过：郡县或州县两级制；州、郡、县，或路、府、县，或道、府（州）、县三级制；省、路、府、县，或省、道、府、县四级制。

除了州、县、路之外，宋代还有一特殊的地方行政机构，叫做“军”。

早在唐代时期，就已经出现了“军”这一区划。起初的“军”相当于现在的军区，并不属于行政区域，只负责管理地方的军事。不过，随着社会发展，到了五代以后“军”逐渐成为行政区。在宋代重文轻武的总体方针下，“军”被融入到地方行政。

宋代依旧保留了唐代的节镇，亦增添了一部分军号，不过，此时的“军”已不再是节镇，而是节度州。除此之外，在节度州以下还有一种县级“军”，这一级别的行政单位通常是由县升的，有可能领县，也有可能不领。虽然县级“军”只负责一县或几县的军事工作，但它的行政级别却比县更高。之所以保留这样的设置，是因为在边境、关隘等一些军事要冲，设置“军”能应对种种突发状况。

赵光义继位后，总共在边区设立了三十四个军，大多设置在与契丹的交界、西域及河北。北宋的对外战争比较频繁，所以位于边境的军能及时响应朝廷调度，适应抵御侵略者的需求。至于那些设置在关隘地区的军，多半是为了防止流民及流寇，弹压民变。