北朝东魏武定六年（548）取梁之阳平郡，更名谷阳郡，治高昌县（治今安徽固镇县谷阳城），隶睢州（由潼州改），领高昌县（治今谷阳城）和连城县（治今安徽固镇连城集）。北齐，谷阳郡属仁州。南朝陈太建五年（573）陈入据淮北，谷阳郡属潼州（治今安徽灵璧县潼郡）。北周武帝时入据淮北，谷阳郡隶属仁州（治赤坎城，今安徽固镇仁和集）。隋开皇六年（586）降谷阳郡为谷阳县。属仁州。