楊乾村據現有史料考證，上楊乾在晉代建村。金氏家族從杭州十字街遷來定居，占、葉兩姓到明初始遷入，後來，王、楊、吳相繼來此定居，所謂“先有金、占、葉，後有王、楊、吳。”據王氏族譜記載，上楊乾盛於明代。當時上楊乾前後1華里的村莊，四周封閉，出入只有前後兩個大門，村中民宅連為一體，起到防盜防偷的作用。上楊乾原稱“王乾”。明代王姓興旺時，王氏有人在朝中當按察御史。村中原有牌坊，惜在文革時被拆除。傳說按察御史歸隱故里後，得一奇病，被村里楊姓郎中“楊半仙”治好，御史為答謝楊氏的救命之恩，特許村名以楊姓為首，故改“王乾”為“楊乾”。楊乾村名由此得來。但從史料來看，這也不過是一個附會的美麗傳說，不足為信。隨著歷史的變遷，家族的興衰，現今上楊乾以陳姓為主。楊乾村頭原有“楊乾禪院”，俗稱“楊乾寺”。該禪院座落在黃龍山腳，背靠黃龍山，門對?川河，坐西北、朝東南。從楊乾去呈坎走老路要經過寺門前。禪院左上邊有一眼井，旱年不淺，澇時不溢，四季長流，水質勝於它處。該禪院建於宋，鼎盛在明，擴建後規模龐大，最興旺時僧人多達百餘。建有鐘鼓二樓，銅鐘很大，故楊乾有俗語云：“陰塢口的風，楊乾寺的鐘。”
楊乾禪院是呈坎羅氏始祖羅秋隱的墓祠。羅姓為歙縣大姓，望族是也。宋代
《新安志》的作者羅願即屬呈坎羅氏。羅秋隱，南宋丞相程元鳳撰《碑記》云：“唐季避地之賢者也，為歙之通德鄉有羅氏之肇祖，墓在其居南三里許黃龍山麓之陽，曰楊乾。”宋寶祐6年（公元1258年），羅氏十三世祖羅鼐看到“族屬益熾，散處他鄉邑，歲時會拜墓下，老者遠莫來，來者幼莫識。”於是，“謀於眾，悉出舊繕墓產，別立僧藉專守，供香燈，則不肖者無所用其奸，而有力者莫能褫，庶幾久計。”同時，羅鼐請定於其岳父程元鳳。程元鳳提議：“有寧泰鄉楊乾禪院僧覺曉者，清介可委，曉亦願依歸從之，遂於墓前右畔曠地為屋五楹，中居世尊，右祀後 ，左享秋隱……。羅氏捐產若干畝，余亦佐焉。公賦私費入給共裕，然而有餘。事竣，余為勒石於院，仍名楊乾。”羅氏的目的是：“墓得僧院以存，僧院資產以久。”羅氏利用僧院保護祖墓，四季香火不斷；院僧也因此得到羅氏提供的房產、地產得以安生。
到了明代嘉靖年間，楊乾禪院院僧卻與呈坎羅氏打官司，歷時8年才結案。該案轟動徽州府，驚動都察院。這場官司的導因是楊乾禪院僧綱法椿及佛熙諸人，“計串非族仇羅承善等出名蓋佛殿，侵壓祖墳。”（羅顯奏）並要遷祖墳於院外，霸占羅氏提供的房產及地產。
對於楊乾禪院的歸屬，九品僧綱法椿認為：“世道變遷，產屬僧業，羅顯祖墳亦因年久凌夷，子孫疏遠，不時拜理。明洪武丈量時，地皆寺經理，弘治年間，祠堂坍壞，僧佛熙建屋五間，改名觀音堂，並造鐘鼓二樓，住屋廠廳廊房一宅，添置田產，漸成大寺。”（法椿狀招）
為此，羅顯等羅氏族眾與寺僧發生爭執，訴訟到徽州府歙縣縣衙。歙縣知縣高琦“受贓屈陷，將墳誣作浮堆平治”。羅氏族眾不服，幾次抗訴徽州府、巡按衙門，經過徽州府、寧國府、池州府幾經審理，歷時7年，仍然得不到解決。最後在“奸僧糾眾結成黨錮，賄入貪酷”（羅顯奏）的情況下，羅顯具本，令侄羅興於明嘉靖14年（公元1535年）二月，抱齎上奏都察院，要求轉行巡按衙門親自審理。同年5月，都察院札付巡按直隸監察御史宋茂熙親自審理，才最終得以結案，使羅氏楊乾禪院始祖墓地得以保存。
該案從明代嘉靖7年（公元1528年）開始訴訟，到嘉靖14年（公元1535年）結案，歷時8年。羅氏族眾為了打官司，耗費白銀近萬兩，最多4戶均出白銀650兩，另外出銀300兩、百餘兩、數十兩不等。“多寡不同，莫不各隨其力之所及，家之所有，樂輸為助。”（羅顯語）
