曹魏广魏郡，西晋泰始（265年-274年）中改名略阳郡，以属县名命名。治临渭县（今甘肃秦安县东南），领临渭、平襄（甘肃通渭县治）、略阳（甘肃秦安县五营乡蔡河村）、清水（甘肃清水县永清镇李崖村）4县。属秦州。

东晋元帝大兴二年(319)，郡地属前赵。前赵仍治临渭县，领临渭、略阳、清水、绵诸（甘肃清水县西南贾川乡林河村）4县。仍属秦州。东晋成帝咸和三年(328)，后赵因之。穆帝永和七年(351)，前秦因之。

孝武帝太元十年(385)，西秦略阳郡治临渭、略阳、清水、绵诸、陇城（今甘肃张家川回族自治县）5县。东晋安帝隆安四年(400)，后秦因之。

东晋安帝义熙十三年(417)，刘裕灭秦，郡地归东晋。东晋治所在略阳（甘肃秦安县五营乡蔡河村），领略阳、临汉、上邽（天水市秦州区）3县。

北魏太武帝太延五年(439)，北魏统一北方，郡地属北魏。北魏治安戎县(今张家川回族自治县龙山镇)，领清水、绵诸、陇城（略阳改名，今甘肃秦安县五营乡蔡河村）、阿阳（甘肃静宁县南）5县。

西魏，北周因之。隋开皇三年（583）废。