西汉置。

西汉高帝元年（前206），置谷阳县（治今安徽固镇谷阳城。属沛郡（治今淮北市相山）。

东汉谷阳县隶属豫州（治今亳县）沛国（由沛郡改）。

三国魏　废谷阳县入洨县和蕲县（治今安徽宿县蕲县集）。

南朝宋侨置阳平县（治今谷阳城），隶属豫州（治今寿县）阳平郡（治今谷阳城）。

北朝北魏天安元年（466），北魏入据淮北，太和四年（480）废阳平县，不久复置阳平县。隶属睢州（治今灵璧县潼郡）阳平郡（治今谷阳）。

南朝梁普通五～七年（524～526）梁取北魏之阳平郡隶潼州（由睢州改），置仁州（治赤坎城，今安徽固镇仁和集）。阳平县属之。

东魏武定六年（548）取梁之阳平郡，更名谷阳郡，隶睢州（由潼州改）；改阳平县名高昌县（治今谷阳城）。

隋开皇六年（586）废高昌县，降谷阳郡为谷阳县。属仁州。

大业年（605～617）初，废仁州为（治今江苏徐州）。谷阳县属之。

唐武德四年（621），改属仁州。贞观八年，改属北谯州。贞观十七年（643）北谯州废，谷阳县改隶徐州(由彭城郡改)。

显庆元年(656)，省谷阳县入蕲县，隶徐州。