明置。

公元1368年，明朝开国。改衡州路为衡州府，直属于湖广行省（治武昌，今武汉市武昌区）。衡州府辖衡阳、衡山、耒阳、常宁、安仁、酃县（今炎陵）、临武、蓝山、嘉禾等9县和桂阳州。

清康熙三年（公元1664年）分为湖南、湖北两省。置衡永郴道，衡州府属于湖南衡永郴道。道府均治衡阳县

1676年，吴三桂在衡阳称帝，国号周。衡州府改称应天府，为周国都。

康熙二十年（1681年），周亡复名衡州府。仍属于湖南衡永郴道。

民国三年（1914年），改衡永郴桂道为衡阳道，废衡州府为衡阳县，道治所在衡阳县。

1927年废衡阳道。1937年设第二行政督察区。区治衡阳县（今衡阳蒸湘区）。

1941年1月，湖南省政府决定将衡阳县东华、雁峰、西湖、石鼓、江东5镇和城郊的广福、奇罡、酃湖3乡区域设置衡阳市，直属湖南省政府。区市同治衡阳县。

1949年设衡阳专区，专署驻衡阳市。衡阳市改为衡阳专区管辖。1950年衡阳市改由省直辖。

1970年衡阳专区改为衡阳地区。

1983年7月，原衡阳地区与衡阳市合并，实行市管县新体制。

2009年10月，衡阳市管辖蒸湘、石鼓、雁峰、珠晖、南岳5区，常宁、耒阳2市，衡南、衡阳、衡山、衡东、祁东5县。全市共有111个镇、72个乡（含一瑶族自治乡）、28个街道办事处，162个村区居委会，4897个村民委员会。仍治蒸湖区。