公元前221年,秦始皇統一全國將原楚國南部分為黔中、長沙兩郡,長沙郡包括衡陽地域。
公元220年,孫吳於長沙郡東南設定湘東郡,郡治設在今酃縣;並於長沙郡西部設衡陽郡,郡治設在今湘鄉,下轄蒸陽(今衡陽縣)、重安(今衡南縣)、湘南、湘西(今衡山、衡東、南嶽區)、湘鄉、益陽等縣。這是歷史上第一次出現以衡陽命名的郡。
公元589年,隋滅陳,改郡為州,廢湘東、衡陽郡,設衡州,將臨蒸改為衡陽縣,州城、縣城均在今江東岸。這是歷史上第一次出現衡陽縣。
2001年4月4日,國務院批准(國函[2001]34號):撤銷衡陽市江東區、城南區、城北區、郊區,設立衡陽市珠暉區、雁峰區、石鼓區、蒸湘區。雁峰區轄原城南區的雁峰、白沙洲、黃茶嶺、天馬山、先鋒路5個街道和原郊區的湘江鄉(不含楊柳村)、岳屏鄉(不含聯合、岳屏、北塘3個村)以及衡南縣的文昌鄉。區人民政府駐湘江南路。