當時六九郎公的裔孫已有移居廣東平遠、焦嶺、番禺、大埔、饒平等地，江西瑞金、尋鄔等地和福建平和、長汀、上杭等地。那一年，因各地裔孫回鄉祭祖，為共謀建祠之事。
“龜山公祠”,這是借楊時的聲譽為祖祠打官司的緣故。楊時，號龜山，諡文靖，公元1053年生於福建將樂城北龍池團。楊時求學用功，立雪程門，二十歲中舉人，二十四歲中進士，七十六歲升龍圖閣學士。他告老南歸後，開海濱鄒魯之風，為閩理學之鼻祖。芷溪楊氏開基祖是楊時第三子的後裔，因避戰亂遷居連城，先住小沛文莊，後移南順里南坑（今文亨鄉南坑村），再南遷至楊家坊中心屋背頭園，最後定居芷溪背園。
建造祖祠時，開始工程進展都很順利，等到梁、柱都上好時，芷溪村有一姓黃的“訟棍”出來阻攔，說是在此祠堂背後山上有他的祖墳。雙方爭辯不休，背園楊氏便將此情況通報在外的宗親。閩、粵、贛三省均派人回來，其中官員31名（知府2名、知縣29名）。經過謀策，為擴大影響、大贏官司，將此祠堂改為奉祀龜山公。官司打到縣裡，知縣前來察看，見祠中祀著“宋大儒楊時龜山靖文之神位”，又見這么多官員跪在神主前，即判楊家勝訴。
楊氏家廟面積不大，僅600平方米左右。正廳內空4.94米，左右各有一間大屋間。廳前是天井，左右迴廊連線下廳。兩旁有橫屋，與一般祠堂差不多。現在這些建築都是依原樣重修的，唯大門頂上的木牌樓古蹟猶存，依稀可見當年的風采。木牌樓是楊氏家廟最突出的建築特色。
木牌樓頂為長四方形，四角有叉角向外伸，前後有雨檐覆蓋。整座木牌樓為二級牌樓格局，全是採用“草尾捲筒雞爪造型”，即將木條雕刻成雞爪形狀，三根象雞爪倒立，中間一爪上頂著一個圓形的花籃，周邊雕刻著花紋，另兩爪成倒八字向上伸。這樣一個一個“草尾捲筒雞爪”依次整齊排列，一層一層堆嵌上去。
牌樓分四層：第一層全是“草尾捲筒雞爪”，第二層中間有三塊雕版，第三層中間也有三塊雕版。每塊雕版雕刻的內容均是民間故事，如“八仙過海”、“三英戰呂布”等等，只可惜這些文物都被人挖去。
在第四層的“草尾捲筒雞爪”下的中間，掛著“楊氏家廟”額匾。此匾為當年真跡，左右各有一根“倒吊騎筒”，騎筒刻成蓮花形，工藝精湛，顆顆蓮子肉眼可辨。騎筒外有一橫樑，刻的是“錦雞採茶”，這橫樑上原雕有“鱉魚戲球”，現已丟失。
牌樓大門前的天花板上，繪有雙獅戲球，仍存一半，可以辨認。牌樓兩邊雨檐的八字雨披，上面有一長形的塗上白粉的木板，板上繪著山水油畫。
