奎文閣是全城的至高點，號"奎文"，始建於清乾隆十八年至二十八年期間（公元1653年－1763年）。原址在城東南隅水東門頂，為當時文人學士祭祀文曲星及休閒之場所，因嫌其地狹，於民國三十四年（公元1945年）由芷江簡師移遷至昭宗祠。
此閣為三檐八角亭木結構閣樓式建築。共三層，通高10.13米，徑長9.2米，頂層4.05米，逐層收山，八背翹角，無寶頂攢尖，蓋小青瓦，閣頂雙重飛檐，內斗拱，梁架彩繪龍飛鳳舞。任欄豎柱由朱紅盡梁，每層疏牖洞達，上奉"奎星"神位，中置"文昌帝"座，閣四周被大樹環抱，花草爭妍。登閣憑欄回顧，芷水如帶。明山似屏，城區棟棟新樓，聳秀染壁，銀光輝煌，盡收眼底。解放後，照忠祠內創建人民醫院，幾次撥款對閣樓進行維修，增添新彩，人僅為療病者提供閒暇之所，也是遊覽者必往之處。
芷江縣內唯此一亭，因其具有較濃的地方建築特色，而成為一處風景名勝，1989年列為縣級文物保護單位。
這座奎文閣，高20米，三層翹檐斗拱，每層均為八角卷檐結構。八根巨大的朱紅立柱和八根朱紅卷檐支柱，托著三重八角頂蓬，頂蓬上掛著鈴當，微風吹過叮噹作響，閣頂端托出一個明晃晃的金頂。飛檐斗角下，姚黃魏紫，雕樑畫棟。閣樓上每層木板木枋縱橫交錯，枋板相扣，卯栓相銜，不用一顆鐵釘，立柱、檐柱、扶梯、扶欄、飛檐斗拱渾然一體，堅固異常。該閣落成那天，周邊數省的文人學士都潮湧而來，會集於此，百姓人家也無不來此觀光祈祝禱。香火十分盛行，晝夜不息，半月有餘。為紀念此閣落成和當時的盛況，不少文人墨客留下了美好的詩篇，其中尤以知府唐珠的為佳：
熙朝郡縣古江山，勢踞西周第一天。
共說地高三楚盡，須知天近五星環。
樓台氣象千如許，城廓周遭坐等閒。
指點靈區逢此日，漸鴻無數碧雲間。
此閣修好後，不僅是文人學士要前來祭拜，就是那些參加科考的生員們，往往考前都要來祭典一番。考中者事後，更是要隆重朝拜。沅州這塊土地上確實也走出了不少的文人學士，如進士翰林熊希齡、拔貢張學濟，以及李永翰、張伯良、沈從文等。
為了此閣不受戰亂之苦，1945 年遷至縣人民醫院現在這個地方，一直按原樣保護得很好。如今這裡四周長滿了槐樹、女貞、松柏和枝葉繁茂的樟樹、鬱鬱蔥蔥的銀杏。葉片相擁，樹枝相抱，緊緊地護衛著奎文閣。四周的花壇里長著各式各樣的鮮花，把這個小山丘點綴得十分美麗，是一個很好的遊覽去處。
