唐代大詩人杜甫晚年自稱“少陵野老”。唐開元二十年春，杜甫貢舉下第，是時杜甫的父親杜閒正在兗州司馬任上，杜甫由洛陽來兗州省父，以後並於此寓居。按其《壯遊》詩：“峙下考功第，獨辭京尹堂。放蕩齊趙間，裘馬頗清狂。快意八九年，西歸到鹹陽。”可知杜甫下第後即來兗州。
杜甫《登兗州城樓》詩云：
東郡趨庭日，南樓縱目初。浮雲連海岱，平野入青徐。
孤嶂秦碑在，荒城魯殿余。從來多古意。臨眺獨躊躇。
明初，朱元璋第十子朱檀封為魯王，藩兗州。兗州城南擴，為紀念杜甫，在杜甫登樓處城牆保留一段，改建成台，遂稱少陵台。為兗州八景之一，謂之“南樓夕月”，南樓遺址土基——少陵台，現為兗州市重點文物保護單位。近年，在台周圍以磚砌牆，加以保護，可供登臨。
