衡陽白骨塔清康熙三十五（公元1696年）縣丞周燮擴建城牆，在山上挖出大量白骨，為慰亡靈，他命人在東邊山頭挖一巨穴，將白骨葬人，又在上面築起了一座磚石塔。給塔取個什麼名字呢？有的人說：“乾脆叫作白骨塔。”幾個士紳覺得不妥，認為自古以來無此怪僻可怖的塔名。請來題寫塔額的人見塔名未定，只寫下一個“塔”字便走掉了，所以，塔額上至今只有一個“塔”字，而無塔名，不過，人們習慣稱它為“白骨塔”。
離塔不遠的平地上曾建有一座小庵堂，名叫“白骨庵”，不久就倒掉了，再沒有恢復。抗日戰爭期間，此地為衡州保衛戰的主守陣地，日軍用飛機、大炮對這裡進行狂轟濫炸，距塔僅二百餘米的回雁峰被變成了一片焦土，而白骨塔卻奇蹟般地只負了幾處輕傷。解放後，市博物館對它進行了修補。現節假日亦有人來此遊覽。
