曹魏开始设置五兵尚书。“五兵”指中兵、外兵、骑兵、别兵、都兵。晋以后，“中兵”分左右，“外兵”也分左右。北齐时，“左中兵”掌宫廷宿卫，“右中兵”掌畿内丁帐（即户口、部族之事）；“左外兵”掌河南及潼关以东之丁帐，“右外兵”掌河北及潼关以西之丁帐；“都兵”掌鼓吹乐事。

南朝宋齐梁陈沿用。至隋改名兵部尚书。