《風俗通義·山澤》稱南嶽衡山“一名霍山,霍者,萬物盛長,垂枝布葉,霍然而大。
東晉葛洪《枕中書》則以太昊氏為青帝,治岱宗山,祝融氏為赤帝,治衡霍山,金天氏為白帝,治華陰山,顓頊氏為黑帝,治太恆山,軒轅氏為黃帝,治嵩高山。
《南嶽總勝集·卷上》上真記雲。祝融氏為赤帝治衡霍山即衡岳也。衡岳者五嶽之南嶽。即周官所謂荊州之鎮也。又夏書雲宛委山也。道典雲。五嶽五山各有儲佐。昔黃帝游觀六合。徵召神靈。見東中西北四岳。並有佐命之司。惟有南嶽峙而無。乃與昌宇力牧方明等章詞三天。太上使命霍山潛山為南嶽儲君。拜青城為丈人。署廬山為使者。令總衡岳以鼎鎮。舉德正而為主。儲君者衡岳之副君也。述異志雲。南嶽者盤古左臂。至漢武南巡。以南嶽遼遠。乃徙其祭於廬江。亦承軒轅副義也。湘中記雲。衡山朱陵之靈台。太虛之寶洞。上承軫宿。銓德鈞物。應度璣衡。故名衡山。下踞離宮。攝位火鄉。赤帝館其嶺。祝融宅其陽。故曰南嶽。禹貢雲。荊及衡陽惟荊州。又雲。南巡至於衡岳。(孔注南嶽衡山也)爾雅雲。霍山為南嶽。即衡霍也。又五嶽經雲。廬山.麻姑山.玉笥山.洞陽山.大圍山.九疑山.羅浮等山.為之佐命。