东晋义熙七年（公元411年）分徐州置。治所在彭城（今江苏徐州市）。辖境约当今山东箕屋山、沂山、蒙山及江苏沛县以南，河南商丘以东，安徽太和、蒙城、泗县及江苏淮河以北地区。南朝宋永初二年（公元421年）改名徐州。
南齐改徐州置,治所在燕县(今安徽凤阳县东北临淮关东)。辖境相当今安徽淮河以南,蚌埠、凤阳、滁州、明光、定远、来安等市县地。东魏武定七年(549)改名楚州。
北魏永安二年(529)置,治所在即丘县(今山东临沂市西二十里古城)。辖境相今山东新泰、临沂、费县、平邑等市县地。北周宣政元年(578)改名沂州。