清代乾隆二十年(1755年)(據清編《湖南通志》卷一百二十三職官十四清泉縣知縣條記載有雲“乾隆二十一年設”),把衡州府衡陽縣以“路當要衝事繁難治”為由分東南之境置清泉縣,西北為衡陽縣。因衡州東鄉有一名山叫清泉山,以此山名縣叫清泉縣。清泉山位於泉溪鎮境內。清泉山上有一清泉,冬夏不竭,泉味甘美,為酃湖水之源,釀出古代之酃綠美酒。清代大學士朱佩蓮曾在衡陽為官,在《清泉雜詠》中贊:清泉山下出泉清,萬頃酃湖逗一泓;酃綠見珍張載賦,原來縮酒貢南荊。民國時復並衡清兩縣為衡陽縣。
春秋戰國時期衡陽為楚南重鎮,漢代衡陽設鍾武侯國。漢末三國設衡陽郡,轄蒸陽(今衡陽縣)、重安(今衡南縣)、湘南、湘西(今衡山、衡東、南嶽區)、湘鄉、益陽等縣。西晉置衡州,治衡陽。東晉、南北朝設湘東郡、衡陽王國(今衡陽市、婁底市、湘鄉縣、韶山、益陽等地)、湘東王國(今衡陽市、茶陵、炎陵、攸縣、雙峰、安仁等地),首府設衡陽,同時在衡陽王國南設衡州(南北朝時期,州是地方政權中級別最高的行政機構。衡州是今廣東境內歷史上繼廣州之後出現的第二州,在粵北地區則屬第一州。衡州不僅設定的時間早於廣州以外的諸州,而且轄境也遠遠大於它們。衡州初置時,領轄今廣東境內的清遠、陽山、始興三郡和今湖南境內的桂陽(今郴州市東部諸縣)、平陽(今郴州市西部諸縣)二郡,地跨騎田嶺南北,版圖相當於今廣東清遠市、韶關市和湖南郴州市面積之和,地域闊達5.7萬平公里。
公元589年,隋滅陳並改郡為州,改湘東、衡陽兩郡為衡州、臨蒸為衡陽縣,州、縣城均設在衡陽江東區。唐天寶年間又將衡州改稱衡陽郡,唐乾元元年復用衡州。肅宗至德二年置衡州防禦使,領衡、涪、岳、潭、郴、邵、永、道八州。公元764年,唐王朝為了加強對湖南地區的控制,設定湖南觀察使。這是歷史上最早出現“湖南”之名,湖南觀察使駐衡州。宋置衡州衡陽郡。元朝確定行省制度,省下設路,置衡州路,屬湖廣行省(治武昌,今武漢)。元貞元年(1295) 衡永郴桂諸路人民抗糧、抗丁,起義頻繁,朝廷于衡州設行樞密院。
明朝置衡州府轄衡陽縣(衡陽市區、衡陽縣、衡南縣)、衡山縣(南嶽區、衡山縣、衡東縣)、耒陽縣(耒陽市、安仁縣)、常寧縣(常寧市)、茶陵州(茶陵縣、攸縣、炎陵縣、安仁縣)、桂陽州(桂陽縣、臨武縣、藍山縣、嘉禾縣),明朝中後期設桂王藩國,都衡陽。清代湖廣行省分為左、右布政使司,康熙三年(公元1664年)分為湖南、湖北兩省。置衡永郴道,駐衡州府,領衡州府(衡陽縣、清泉縣、衡山縣、耒陽縣、常寧縣、安仁縣、酃縣、桂陽州、臨武縣、藍山縣、嘉禾縣)、永州府(零陵縣、祁陽縣、東安縣、道州、寧遠縣、永明縣、江華縣、新田縣)、郴州(永興縣、宜章縣、興寧縣、桂東縣),雍正十年(1732)增領桂陽州,更名衡永郴桂道。公元1676年,吳三桂在衡陽稱帝,國號周。衡陽稱應天府(國都)。
民國三年(1914年),廢府存道,改衡永郴桂道為衡陽道,俞壽璋任道尹。衡陽道(全省三道:衡陽道、湘江道、辰沅道)所轄縣仍如清代衡永郴桂道,治所衡陽,直轄湘南36縣。1936年,衡陽設立粵漢、湘桂鐵路局,管轄湘、桂、粵、鄂四省鐵路。1937年,全省分十個行政督察區,第二行政督察區專員公署駐衡陽,轄衡陽、衡山、常寧、耒陽、攸縣、安仁、酃縣、茶陵。1939年春自湖南省政府沅陵遷至耒陽。省政府設在水東江至竹市一帶,秘書廳設於杜陵書院(今耒陽一中校址)。抗戰爆發後,隨著國民政府政治、經濟、文化重心的西移,衡陽的經濟和社會迅速發展和演進,不僅是南方交通樞紐,而且成為大後方最重要的物資集散地和工商業中心,人口急劇增加到60萬。因此,1941年1月,湖南省政府決定將衡陽縣東華、雁峰、西湖、石鼓、江東5鎮和城郊的廣福、奇罡、酃湖3鄉區域設定衡陽市,直屬湖南省政府,衡陽縣治所仍駐市內。1942年1月1日,國民政府設衡陽市,屬省轄,市長朱玖瑩。1943年為國民政府第二大工商業城市,人口近100萬。1944年二戰中國歷史最長的戰役——衡陽保衛戰致使全城被毀,全城僅剩三棟建築。
衡州府,其地古屬三苗、揚越,戰國屬楚,秦屬長沙郡。漢初屬長沙國,又分屬桂陽郡。後漢屬長沙、桂陽郡地。公元三一〇年,孫吳於長沙郡東南設定湘東郡:郡治設在今酃縣;於長沙郡西部設衡陽郡,郡治設在今湘鄉,下轄蒸陽(今衡陽縣》、重安(今衡南縣》、湘南、湘西(今衡山、衡東、南嶽區》、湘鄉、益陽等縣。公兀五八九年,隋減陳,改郡為州,廢湘東、衡陽郡,設衡州,將臨蒸改為衡陽縣,州城、縣城均在今江東岸。唐朝天寶年間改稱衡陽郡,乾元元年復稱衡州。宋朝復為衡陽郡。元朝改衡州路。明洪武二年《二三八九》改為衡州府。清乾隆二十二年《一七五七》,析衡陽東南境置清泉縣。於是,衡州府轄衡陽、清泉、衡山、未陽、常寧、安仁、酃縣七縣。
衡陽縣、清泉縣,其區域大約即現在的衡陽市區、衡陽縣、衡南縣地。
衡山縣,其區域大約即現在的衡山縣、衡東縣及南嶽區地。
耒陽縣,其區域大約即現在的耒陽市地。
常寧縣,其區域大約即現在的常寧縣地。
安仁縣,其區域大約即現在的安仁縣地。
酃縣,其區域大約即現在的炎陵縣地。