东晋元帝在江乘县（今南京市仙林大学城）侨置南琅琊郡。南琅琊郡寄治在江乘县的金城（在南京市白下区）。晋成帝咸康元年(335年)，桓温任南琅琊郡内史，出镇江乘县金城，请求割丹阳郡江乘县境以立实郡。不久，南琅琊郡正式在江乘县划土立定，江乘县改隶南琅琊郡。咸康七年(341年)，割江乘县西境设立临沂县属南琅琊郡。南朝齐永明六年(488年)，武帝以为江乘县白下垒（位于今中央门外北崮山）依带江山，将南琅琊郡治从金城迁至白下垒，名白下城。陈太建十年(578年)废除南琅琊郡。