桑耶寺建成以後，赤松德贊繼續派人到印度去迎請佛教名僧，同時也派出一批人到印度去留學。從印度請來的僧人中有大乘佛教的無垢友、法稱，克什米爾的阿那陀等。派到印度留學的第一批人中有遍照護。印度人稱他為毗盧遮那若希達，被認為是一個聰明敏慧並且具有語言天才，對佛教有虔誠信仰的人。毗盧遮那的尊號即由此得來。毗盧遮那到印度後，看到當時大乘佛教密宗尚盛，而顯宗日益衰落了，於是他拜了一些密宗名僧為師，學到了印度佛教密宗中的“金剛乘”等許多教法，密宗知識相當淵博。
毗盧遮那從印度回到桑耶寺以後，就遭到兩派人的反對，一派是寺里的印度僧人。因為住在桑耶寺的印僧主要是學顯宗的。寺院堪布寂護是學小乘佛教的，小乘佛教中只有顯宗，沒有密宗。因此毗盧遮那學密宗回來，首先受到印僧們的不滿和反對。另一派是吐蕃傳統的苯教徒及其代表勢力。他們給毗盧遮那加上罪名，說他在印度學到的一切，將要給整個吐蕃王朝帶來災難，要求將毗盧遮那處以死刑。
赤松德贊雖然極力提倡佛教，但這時聽到反對毗盧遮那的呼聲如此的強烈，便迫於壓力，不得不讓他從公開佛事活動轉入秘密，進行印度佛教密宗經典的翻譯。毗盧遮那翻譯了《六十如理論簡說》和《無邊光明佛號贊》等書。後來，他秘密譯經的訊息被王朝中的權勢派們知道了，便向赤松德贊要求殺死毗盧遮那。赤松德贊采取了一個李代桃僵的辦法，暗地裡找了一個乞丐作為毗盧德贊的替身，予以處死。但這個作法被王后蔡邦薩揭穿了，那些反對他的貴族們知道後，更不答應，最後迫使赤松德贊把毗盧遮那流放到康區一帶去了。
相傳，毗盧遮那大師被流放到康區阿壩一帶時，開始當地嘉絨王和苯教勢力同樣對他進行過精神和肉體上的各種折磨和摧殘。曾將他投入裝滿青蛙的地牢里，企圖以傳說青蛙聚會能放出一種毒素將人毒死的方法治他，但他安然無恙，又放進許多虱蚤和蚊蟲去咬他。但由於他修法已深，洞中仍念經不止，說教不息，所以用什麼辦法也奈何不了他。他過人的膽識毅力和對佛的虔誠之心終於感化了嘉絨王，放他出牢，並積極支援他在阿壩一帶建寺收徒，譯經傳法。當地的佛教即從此時由他傳播開來。他的學識和功績，在阿壩藏區至今傳頌。民間傳說他是“點燃東方(指康區)佛教明燈的聖人”。
毗盧遮那大師在阿壩住過多年，人們用它的法號命名的地名、寺名、山名不少，如在阿壩地區的馬爾康卓克基鄉的峰壁峽谷中有一座曲徑通幽、雅致秀麗的山洞，名叫“毗盧雜普”，“毗盧岩洞”。洞內留有他修行時的面壁身影、掌跡，講經說法時留下的腳印及靠頭臥睡的痕跡。洞口建有古亭廟宇樓閣，這就是當年毗盧遮那、住宿過岩洞，至今香火不斷。
據說吐蕃王朝到了賽那勒(赤松德贊之子)即位時，毗盧遮那、無垢友等名僧都還健在，他們翻譯了不少赤松德贊和牟尼贊普時期沒有譯出的佛經，對弘揚佛教貢獻甚大。
