來源
據史籍記載，元至正二十年（1360年）首遷城東，建成不足8年，毀於戰火。明洪武三年（1371年）改遷城南。明弘治三年（1490年）因避洪水三遷城北。嘉靖十三年（1534年），當時的縣令及紳士們認為廟地不吉利，曾議改遷到太平寺附近（今千秋嶺一帶），但因靠近南渭王文化教育而被阻止。嘉靖二十一年（1542年），巡撫姜侑溪來縣巡視，第四次選定康莊宅地，離現廟址約10餘米處建廟，這次建成後約二百年未移址。明朝末年農民起義軍張獻忠部攻克永州時，文廟再次被毀。清順治十四年（1657年）在舊址上重建。並於康熙八年（1669年）、雍正四年（1726年）兩次重修。乾隆四年（1739年）文廟第五次遷於千秋嶺上、太平寺側的南渭王府地，歷時36年。乾隆四十年（1775年）復遷到城東，原文廟左側高地，即現文廟地址。文廟在封建社會裡是一縣的最高學府，每年要在這裡舉行歲試和科試。歲試谷稱考秀才，科試是選送優等學生參加在省府舉行的會試。
規模
古文廟建築規模龐大。大成殿前面有三門，中間儀門，兩側戟門。儀門外有青雲橋，架於泮池之上，池外築有“宮牆”。大成殿後有“崇聖祠”，供奉孔子之父叔梁紇的牌位。大成殿左面是“明倫堂”，堂內豎有朱熹寫的“忠孝”、“廉潔”匾額。明倫堂下有兩個書房，一為“育才齋”，是兒童學習的地方；一為“興賢齋”，是舉人秀才的住處。右面是“鄉賢祠”，還有“名宦祠”、“孝子祠”、“節婦烈女祠”等建築，均毀於五十年代初期。文廟現存的建築有大成殿和東西兩廡，面積約700平方米。大成殿的神台上原來供大體上著木刻朱地金字“大成至聖先師孔子神位”，兩側有四子配（復聖顏子，述聖子思，宗聖曾子，亞聖孟子）和十二哲（閔子、冉子、促、宰我、子貳、冉求、季路、子由、子夏、子張、有若、朱熹）的牌位。殿內垛柱上原掛有“德配天地”、“萬世師表”、“與天地參”、“聖神天縱”等匾額。大成殿兩側的東西兩廡稱“配享從祀”。“從祀”的“先賢先儒”牌位是朱底黑字。左側東廡在明朝以前供奉董仲舒、程灝等47人牌位。清道光年間增至65人。右側西廡在明朝以前供奉張載、程頤等47人牌位，清道光年間增至56人。民國時期及以前，每年農曆二月和八月上旬的丁日，縣內大小官吏和儒生，都要聚集文廟舉行祭典，行三跪九叩大禮，先孔子，後拜“四配”、“十二哲”和“崇聖祠”等。五十年代初，殿堂內外的牌位、匾額均被毀；兩廡曾改作零陵縣四中（永州市五中的前身）的學生宿舍，現在是芝山區文管所的辦公室及儲藏室等。
