靈谷塔的原名叫陣亡將士紀念塔,始建於1931年是陣亡將士公墓建築群中一個重要的組織部分。據《總理陵園管理委員會報告》記載,在率師北伐、建都南京、統一告成後,1928年國民政府“眷念前勞,凱旋者概予登庸,慘逝者追加憮恤,惟茲陣亡將士殺身成仁,屍骨遍野,忠魂無依,乃擬蒐集陣亡將士骸骨,建築公墓,安慰忠魂。”因此,1928年11月設立建築陣亡將士公墓籌備委員會。所有建築中,紀念塔耗資最多,造價35.5萬元於1935年建成。

塔的內外四壁上,鑲嵌著青石碑刻。該塔的八面,每層都有四門四碑。塔內計28塊碑刻,第二、三、四層的12塊碑上,鐫刻著民國十三年十一月三日《孫總理北上時在黃埔軍官學校告別辭》全文,是國民黨元老於右任先生於民國二十三年七月標準草書遺墨,遊人到此觀賞後,無不噴嘖稱美。第五、六、七、八層16塊碑鐫刻的是民國十三年四月十四日《總理孫先生在黃埔軍官學校開學訓詞》,為國民黨元老吳稚暉先生於民國二十二年五月小篆所題,均由蘇州吳縣唐仲芳勒石。