關於這個“佛”字的由來，人們有各種各樣的說法，有的說是因懸崖石塊掉落產生的，但最有神秘色彩的是十渡龍山，虎山和“佛”字的傳說。
相傳很早以前，在百里遠的山群中有一條巨龍和一隻猛虎，爭鬥得死去活來，難解難分，它們從地上打到天空，又從空中打到地上，巨龍騰雲駕霧，猛虎能展翅飛翔，彼此不分上下，攪得天上地下都很不安寧。玉皇大帝發出指令，讓它們停止糾戈，它們不聽，於是玉皇就收回所有的雲霧，讓火辣辣的太陽終日烤著它們，故此在這百里的山川內外，久旱不雨，旱得土地乾裂，莊稼和花草樹木全部枯萎。龍虎乾渴得喘不過氣來，不得不停止戰鬥。
在十分危急的情況下，巨龍突然發現遠處有一條銀白色的緞帶在飄動，十分誘人，便向十渡上空游來，定睛一看，原來是一條清澈的河流——拒馬河。巨龍便一頭猛紮下來，猛龍也尾隨而至。巨龍橫臥在拒馬河的北岸，一頭伸進拒馬河裡，貪婪地吸水。用龍尾把猛龍堵在後邊，由於老虎拚命地咬巨龍的尾巴，驅使巨龍不斷往前移動。這樣可能把拒馬河攔腰截斷，使河水向北流去再轉回東部，將沖毀幾個村莊和千畝良田。為了止住巨龍的前移，玉皇大帝在龍頭前邊撒了一個高大的網攔住它，這就是拒馬河南岸對著龍頭的蜘蛛山。後來發現無濟於事，它扔往前跑。眼看拒馬河被截斷了，玉皇大帝一怒之下便從天上扔下一根金寶劍，一下穿透了巨龍的脖子，把它釘在大地上，形成了一座龍山。老虎也渴死在那裡，形成了一座虎山。
龍的脖子被穿透時，發出一聲巨響，隨後天昏地暗，河水翻滾。此時，人們發現龍的脖子前端劈出一塊直上直下的懸崖，崖底上有堆金黃色的碎石，崖壁上便顯出一個蒼勁有力的“佛”字，高約1.5米，寬約一米餘。近看朦朦朧朧，似是似非，從遠處（拒馬河對崖）眺望，十分清晰。
龍山佛字從十渡旅遊開發初始，就成為吸引遊人的勝景。
