东晋永昌元年(322年)，侨置南谯郡(治山桑，侨置于今安徽全椒县城北1公里尹村)，领山桑、南谯(治安徽全椒县襄河镇)、酂(位今全椒县官渡乡古酂湖滨，今为圩田)、扶阳、銍县(均位今全椒县境内)。属徐州(侨于钟离故城，今凤阳县李二庄乡小卞庄西)。

刘宋元嘉八年(431年)，酂、銍2个县改属历阳郡(治历阳，今和县历阳镇)，南谯郡仅领3个侨县。仍属徐州。升明三年(479年)四月，南齐代宋，地改属南豫州(仍治故钟离城)，南谯郡(治山桑故城，名南谯城，今全椒县襄河镇北)，领曲阳、山桑、扶阳3个侨县。又置嘉平县(故城位今全椒县襄河镇西南7.5公里地名东嘉平、西嘉平的地方)，属南谯郡。酂县改属临江郡(治今和县乌江镇)。

梁改南谯郡为北谯郡。