秦朝统一全国后，地方实行郡县制，全国分为三十六郡。 琅琊郡为三十六郡之一，治琅琊县（治所在山东胶南市琅琊镇夏河城），辖山东半岛东南部。西汉时期治东武((今山东诸诚市城关镇东古城子村)，领51县。包括今山东半岛东南部的海阳、即墨、崂山、胶县、胶南、沂水、莒南、日照、五莲、赣榆(今江苏赣榆)及青岛等地。属徐州。

东汉建武十七年（41)，光武帝封子刘京为琅琊王，琅琊郡改为琅琊国，建都于莒（今山东莒县城阳镇莒国古城）。建初五年（80）琅琊国移都开阳（临沂市区）。领13县。建安二十一年（216)，曹操杀琅琊王刘熙，国除为郡。

三国魏仍治开阳，领开阳、临沂、阳都、缯、郎丘 、华、费、安丘、剧9县。辖地开始缩小。晋因之。

北魏时期治即丘(今山东临沂市河东区汤河镇故县村)，领即丘、武阳、费、新泰四县，属北徐州。北齐北周因之。隋开皇三年（583）废。属县直属沂州。

隋大业三年（607），改沂州为琅琊郡。治所在临沂(今临沂市区)。共辖7县：临沂、费、颛臾、沂水、东安、莒、新泰。唐武德四年（621）复为沂州。

唐天宝元年（742）又改沂州为琅琊郡。辖5县：临沂、费、沂水、承。758年（乾元元年），又改称沂州。