西汉置

西晋置

南朝宋置

东魏置

西汉置

汉武帝元狩六年（前117）置临淮郡，郡治徐县(今苏北泗洪县南)，下辖徐县、赘其县、高山县、盐渎县、取虑县、犹县、开阳县、射阳县、淮浦县、东阳县、僮县、海陵县、淮阴县、淮陵县、下相县、富陵县、播旌县、西平县、睢陵县、盱眙县、舆县、堂邑县等29个县。新朝始建国元年（9）改名淮平郡。东汉初，并入东海郡。

东汉建武十五年四月丁巳，刘秀封其子刘衡为临淮公，改临淮国。十七年六月癸巳，未及封王，无子，国除为临淮郡。东汉临淮郡仍治徐县，领下邳县、徐县、高山县、取虑县、淮浦县、淮阴县、淮陵县、下相县、潘旌县、睢陵县、盱台县、夏成县、夏丘县等县。

东汉明帝永平十五年(公元72年)，取消临淮郡，置下邳国。改治下邳县(今江苏邳州市之下邳故城)。

西晋置

太康元年(280年)，分下邳国在淮河南岸的县置临淮郡，治盱眙(今江苏盱眙市区北)，领高山县、赘其县、淮陵县、司吾县、徐县、盱眙县、潘旌县、高邮县、下相县、东阳县等10个县，永宁元年(301年)，临淮郡更名为临淮国，义熙七年(411年)，改设盱眙郡。

南朝宋置

刘宋初复置临淮郡，治海西县（江苏灌南县境内），领海西县、射阳县、凌县、淮浦县、东阳县、长乐县六县。南齐建武二年（493）省。

东魏置

北朝东魏武定六年（548）取粱之仁州，置临淮郡（治今安徽固镇仁和集）。临淮郡领已吾县（治今安徽固镇仁和集）、义城县（治今安徽怀远县拖城）。

北朝北齐废临淮郡及其属县，置临淮县（治今安徽固镇仁和集）。

大业年（605～617）初，并临淮县入谷阳县。