南朝梁置。

梁天监六年（507）置岳安郡，治岳安县（今天安徽霍山城区),领岳安、安城（帖治岳安）、义兴3个县。属霍州。

北齐天保二年（５５1年)，岳安郡（仍治岳安，今县城关镇）入北齐，改属江州（治怀宁，今潜山县梅城镇）。

隋开皇初岳安郡（治岳安）领岳安、开化2个县。三年（583年）郡废。