《曹南文獻錄》記載，此山古貌“阜巒起伏，高八、九丈，橫亘數里”。據現存遺蹟考查，以此山為高峰，共五個山頭東西排列（白土山以東一個、以西三個）。因黃河多次決口，山下地土山淤高。明洪武四年（公元1371年）縣城設此，平山填溝，在1927年四鄉出車，往城內運土墊街。原來山界已被填平，至今在此山西北仍有半截老山溝遺址，長150米。山頂寬約30米，原土質堅硬，重載四輪太平車過而無轍，旱天無浮土，雨天無泥濘。傳說山上產黑蠍子，比其它蠍子多生兩個爪。
此山曾是陶布集、散之處，當時設布店多座。明、清歷代定陶特產白土布盛名各地，由四鄉運往此山，將布打成捆，裝車外運。陶布，織成長二十八尺，寬二尺，兩邊各有紅線一條。傳說：棉線紡得十分均細，織的稠密兜水不漏。布質很硬，打開布卷，能自動卷回。此布需染多次才能著色，做成衣服，穿十餘年猶如新裝。人得陶布，愛不釋手。另有傳說：陶布經過白土山，布則變為光滑有韌，布質增強，所以外鄉土布，雖已打紮成捆準備外運，也要多走數里過此山，以求布質提高。
由於陶布的外運，故白土山盛名在外。據說清朝時期，定陶縣苗樓村的李某在江蘇安徽一帶挑貨籃，換破爛，因與人口角動起手來，用扁擔將對方打死，被人告到縣衙，將李某押監收獄。知縣得知被告李某是定陶人，因知縣熟悉定陶（有說此知縣是定陶人），有意庇護，將李某發配白土山。原告認為白土山一定是邊遠之山，被告李某雖是定陶人，但不知白土山在哪裡，因致死人命發配邊疆，也無話可說。解差押著李某來到定陶城內白土山將他釋放，李某方由悲轉喜，回到苗樓家中。
該山在春秋時代，曹國稱曹南山，戰國時代稱陶山。後因山四周為湖澤，湖水涸後遍地結為白鹼，此山皆白色，故稱白土山，亦叫白頭山。還有說：每逢集市，滿山是白布，故又有白布山之稱。
抗戰之前，國民黨定陶縣監獄設於白土山附近。今定陶縣城內有白土山路。
