陵園依山就勢建於羊山戰鬥遺址的主峰之上，氣勢雄偉，占地面積42畝。主要有革命烈上紀念塔、草坪墓群、紀念碑亭、烈士紀念堂、魯西南戰役紀念館等紀念建築物。整個陵園布局合理，環境優美，樹木、花草覆蓋面積達90%以上。烈士紀念碑巍峨挺拔，高高聳立在最高峰。登上峰頂腑瞰，錯落有致的建築群體，松柏覆蓋的烈士墓群，古色古香的紀念碑亭，綠蔭掩映的紀念館以及小巧玲瓏的花園和吞水吐珠的噴泉盡收眼底。
魯西南戰役紀念館由曾參加過魯南戰役的原中共中央政治局常委、中央軍委副主席劉華清親筆題名。館內陳列著許多鮮為人知的珍貴歷史照片、電文、書信等革命文物，其中有毛澤東主席給劉、鄧首長的親筆信；劉伯承、鄧小平同志過黃河時的合影；有我軍包圍羊山之敵和挺進大別山途途中的照片；還有曾參加過西南戰役的老將軍，老領導的親筆題詞，以及有關魯西南戰役的書籍、軍戰史、影集、錄像、錄音、照片等歷史資料。園內陳列了飛機、坦克、火炮等輕重武器。羊山烈士陵園已成為—處集褒楊、教育、旅遊、服務於一體的大型花園式陵園，是我省著名的節命傳統教育基地和國防教育墓地。每年接待瞻仰、旅遊民眾達40多萬人次。2001年被國務院批准為“全國重點烈士紀念建築 革命歷史教育重要場所”，也是魯西南地區紅色旅遊的重要景點。
魯西南戰役是劉鄧大軍為實現千里躍進大別山的偉大戰略意圖，於1947年6月30日至7月28日，在魯西南地區對國民黨軍隊進行的一次大規模殲滅戰。其中，最重要的是殲滅羊山集的敵六十六師1.42萬人，取得了魯西南戰役的全面勝利。此次戰役的勝利為人民解放軍挺進中原，躍進大別山、把戰爭引向敵戰區，開闢了道路，揭開了中國人民解放軍從戰略防禦轉入戰略進攻的序幕。
