春秋时皖国，汉置皖县，以国为名，故治即今安徽潜山县城，属庐江郡。《后汉书·马援传》李文笔聚会徒党，攻没皖城，使援击破之，即此。东汉章帝元和二年（八五年），改庐江郡为六安国，皖县属之。东汉章和二年（八八年），复改六安国为庐江郡，皖县属庐江郡。东汉献帝建安四年（一九九年），庐江郡自舒县迁治于此。建安五年（二OO年），皖县入于吴，庐江郡又迁治后皖（今怀宁县）。同年，李术叛孙权，据皖城，皖城遂荒芜。西晋初废。