元至正十六年（龙凤二年，1356），朱元璋攻克集庆（今南京），设置行枢密院，自己亲自统领。至正二十一年（龙凤七年，1361）改行枢密院为大都督府，以朱文正为大都督，节制中外诸军。洪武十三年（1380），借诛杀胡惟庸、废除丞相之机，将大都督府分为左、右、前、后、中五军都督府，各领今内外都司卫所，以中军都督府断事官为五军断事官。每府设左、右都督，正一品；都督同知，从一品；都督佥事，正二品。