劉三廟相傳來歷神奇,相傳宋朝名臣劉三,朝廷命他去柳州赴任,於是他乘船一路風塵僕僕地趕去,當船行至河洲鎮德才村地段時,劉三大人便詢問過往船支的船員這是什麼地方,答曰:“九洲”(即祁陽九洲村),劉三大人誤聽為“柳州”旋即下船了解,當看到這裡破難不堪的情景,上岸後他一腳蹭在馬頭上,馬頭上的石頭當時就現出一個腳印,劉三氣絕身亡,當地居民知道如此大官死在這裡,便在離此地 500米的山上找了一個幽靜的地方挖了一個空穴準備把他下葬,下葬這天,居民到他上岸的地方燒紙錢,但煙卻從墳穴處冒出,於是居民便修了一個小廟堂以示紀念。
到了解放前夕,也就是九洲這地方,一個窮苦人在地主家打工偷了地主的東西,地主發現後便要處死他,這人知道後,連夜逃到小廟躲避,並許願只要能活著出去,定當日後報恩。
事後這人不但活了命,還發了財,回來後主動捐款進行了重修,這事傳開後,此處一直香火不斷,每年農曆8月15日前後,廣西、柳州、常寧、衡陽、祁陽、祁東等地燒香進神者萬餘人之多。