秦置。

灊县（治安徽霍山南岳乡上元街村）设置于秦末。

汉王元年正月，灊县属吴芮衡山王国（都邾，今湖北黄冈县故邾城）。

高祖五年（前２０2年)正月，废国为郡，灊县改属英布淮南国衡山郡（仍治邾）。十一年七月归汉。十月庚午，改属刘长淮南国（改都寿春，今寿县城关镇）。

文帝七年（前１７3年)，衡山郡归汉。十二年，改属刘喜淮南国（仍都寿春）。十六年归汉。四月丙寅，灊县改属刘勃衡山国（仍都邾）。

景帝四年（前１５3年)，改属刘赐衡山国（仍都邾）。

元狩元年（前１２2年)，衡山国除为郡，归汉。二年，分衡山郡东部及九江郡南部组建新庐江郡（治舒，今庐江县城池乡城池村城池埂），灊县属之。

东汉末撤销灊县，并入六安县、博安县。

咸熙二年（２６5年)十二月，西晋代魏，复灊县（仍治上元街村），属扬州（回治寿春。平吴后，改治今南京市）庐江郡（初治皖，后改治舒）。

东晋灊县为扬州庐江郡治所。

南朝宋初又废灊县。

北魏天安元年（４６6年)占领淮西，复设灊县，属庐江郡。

唐太宗贞观元年（公元627年），废灊县入霍山。