回雁峰是南岳第一峰，坐落市区，相传“北雁南飞，至此歇翅停回”，故市区又名雁峰。

公元前221年，秦始皇统一全国将原楚国南部分为黔中、长沙两郡，长沙郡包括衡阳地域。

公元220年，孙吴于长沙郡东南设置湘东郡，郡治设在今酃县；并于长沙郡西部设衡阳郡，郡治设在今湘乡，下辖蒸阳（今衡阳县）、重安（今衡南县）、湘南、湘西（今衡山、衡东、南岳区）、湘乡、益阳等县。这是历史上第一次出现以衡阳命名的郡。

公元589年，隋灭陈，改郡为州，废湘东、衡阳郡，设衡州，将临蒸改为衡阳县，州城、县城均在今江东岸。这是历史上第一次出现衡阳县。

2001年4月4日，国务院批准（国函[2001]34号）：撤销衡阳市江东区、城南区、城北区、郊区，设立衡阳市珠晖区、雁峰区、石鼓区、蒸湘区。雁峰区辖原城南区的雁峰、白沙洲、黄茶岭、天马山、先锋路5个街道和原郊区的湘江乡（不含杨柳村）、岳屏乡（不含联合、岳屏、北塘3个村）以及衡南县的文昌乡。区人民政府驻湘江南路。