秦王政二十四年（前２２3年)灭楚，设高山县（位今来安县王集乡高山村高山岗上），属东海郡。汉王六年正月，高山县改属刘贾的东阳郡。元狩二年（前１２1）东阳郡改为广陵郡，高山县属之。元狩六年（前１１7年)，高山县改属临淮郡。

永平十五年，改临淮郡为下邳郡，高山县属之。

三国时，高山县境为吴、魏拉锯战战场。县废。

魏咸熙二年（２６5年)十二月，晋代魏，复置高山县，仍属下邳郡。太康元年（２８0年)，高山县改属临淮郡。永昌元年（３２2年)，又废高山县。