據陳伯陶云：「青山有杯渡寺。青雲觀、久廢、居土為之重葺。」可見青雲觀和青山禪院同在一處已經很久，後來才重修。現時的青雲觀在青山寺內大雄寶殿右邊。
青山禪院和青雲觀，是1928年由顯奇大師及張純白居士合力建設而成。
顯奇大師是香港一位奇人，俗姓陳名春亭，原籍福建，他來港經商，但篤信佛學，發達後到青山隱居，覺青山寺有重修必要，曾遠赴寧波觀宗寺，該寺住持諦閒禪師收他為徒而出家。諦閒禪師為他受戒，賜名顯奇，他在寧波靜修多年，然後南返香港與老友張純白居士合力將青山寺改建成現時這規模。
青山寺前的幾個牌坊都是他們當時建的，因為他是港中著名華商，突然出家做和尚，不僅各華商支持他建設青山禪院，連當時的港督金文泰亦加以支持。
金文泰於1928年3月到青山禪來題了《回頭是岸》，是鐵禪所書。
