公元274年，三國之間的戰爭硝煙已然散去，作為最終勝利者的魏國還沒有採下果實多久，就被司馬氏取而代之。此時，西晉建國已有近十年，
林祿像也許晉武帝本人並沒有想到，就在其統一全國數十年之後，西晉的統治便開始岌岌可危，而後來的永嘉之亂更是將尚且年幼的西晉王朝的生機盡數掐斷。
永嘉之亂無疑是一場民族浩劫、一場民族災難，但並不意味著所有人都會遭殃，有些人甚至會因此受益。這場永嘉之亂也使一批人受益，而其中受益最大的無疑是當時的琅琊王司馬睿。雖然司馬睿貴為西晉皇親國戚，但其宗親關係可謂相當疏遠。在永嘉之亂中，不僅西晉皇帝被俘，那些宗親關係很近的王公貴族也被盡數消滅。因此，司馬睿成了當時繼承大統的不二人選，而身為司馬睿參軍（即參謀軍務，也就是參謀、幕僚這種角色）的林祿也開始慢慢嶄露頭角，林祿與後來的丞相王導一道積極向司馬睿進言，主張南遷，從而避開戰亂，開拓自己的勢力。很快，司馬睿接納了這個建議。晉建武年間，司馬睿率中原漢族衣冠仕族以及大群民眾南渡，史稱“永嘉之亂，衣冠南渡”。在這場南遷中司馬睿最終定都江東建康（今南京），史稱東晉。在南遷過程中，林祿又一直伴隨司馬睿左右，並積極為司馬睿出謀劃策，首先他與眾大臣建議在長江南北設定僑州郡縣以安置流亡人口、平穩人心，這得到了司馬睿的首肯。而後他又與王導王敦兄弟一道極力籠絡南方士族，協調南北大族之間的關係。林祿一系列正確的計策為司馬睿政權在江東的鞏固和發展立下了汗馬功勞，因此深得司馬睿的重用和賞識。
在東晉建立之後，林祿開始了延續家族的事業走上匡扶晉室的道路，與其祖父輩主攻文科不同，林祿其實應該算是軍功起家。在其一生中，他歷次多次戰爭，正是源於戰功，他才從參軍，一直做到招遠將軍、散騎常侍中，給事中以及他父親曾經呆過的位置黃門侍郎。公元311年至315年，林祿參加了王敦討伐杜弢的戰爭。杜弢，原本在西晉時期擔任醴陵令，永嘉五年（公元311年），巴蜀流民四、五萬人起義，推舉他為首領，而後占據了長沙和湘州大部。自永嘉六年（公元312年）起，司馬睿便命令王敦討伐杜弢，林祿也成為了討伐軍的一員，只不過，後來史書在這場戰爭的描述中，似乎只提到了主帥王敦以及在戰爭中屢力戰功的將領陶侃，完全忽略了林祿的存在，這也許跟其參謀身份，平時身處幕後不無關係，但是就以戰後他被司馬睿封賞為將軍來看，他應該是立下了大功。
公元327年，東晉歷史上發生了蘇峻、祖約叛亂，此時已是東晉第三任皇帝晉成帝統治時期，已在晉安任職的林祿再次奉命討伐。鹹和三年（公元328年）正月，蘇峻親率數萬大軍，橫渡長江，進逼東晉首都建康，與遠在壽春的祖約遙相呼應，企圖推翻東晉統治。在此過程中林祿與晉軍將領陶侃密切配合，切斷蘇峻軍隊草糧，而後向其發動攻勢，致使蘇峻墜馬身亡。而後晉軍進逼祖約，祖約無奈北逃後為石勒所殺。至此，平定蘇峻、祖約叛亂順利結束，在這場平叛戰中，林祿無疑是戰功卓著。
林祿在東晉時期，其先後輔佐了晉元帝、晉明帝、晉成帝、晉康帝及晉穆帝五位皇帝，是為五朝元老。在此期間，他先後參加了平定杜弢、蘇峻、祖約叛亂等數場戰役，並立下卓越戰功。其一生為匡扶晉室，鞠躬盡瘁，死而後已。
東晉初年，林祿被封為軍機大臣，奉命出守晉安郡（今福建省福州一帶），所以入閩定居。林祿在晉安恩威並施，平凡叛亂，鼓勵農桑，提倡儒學，很快使得晉安郡大治。之後他的後代就居住在晉安，繁衍生息。這就是“晉安世系”或者稱“閩林晉安世系”，林祿也是林姓的開閩始祖。“晉安林”開創了林姓在東南沿海一帶發展的歷史，成為天下公認的林姓最大的支系。而經過這幾次大的遷徙，發源於北方的林姓開始在南方繁衍生息，並逐漸發展成南方的大姓。
公元357年，林祿在晉安郡辭世，死後被追封為晉安郡王，葬於溫陵九龍之崗。
晉安郡王林祿之墓，亦為閩林始祖陵，位於惠安縣塗嶺九龍崗下。文革期間曾遭毀壞，後依原來式樣重新修建。
墓前有坊門一座，正中匾鐫“閩林始祖”，左柱鐫“東晉名藩”，右柱鐫“開閩世胄”，左右分列華表二、旗桿柱四、石羊二、石將軍二。墓園右側通往水曲村路邊有一巨石，上鐫宋朱熹題字“長山世縉”。
