光緒十二年(1886年)，林之夏考中秀才。當時歐風東漸，國勢日危，林之夏認為，要救國必須學習西方科學，而學習西學又須從學習西方語言入手，遂入福州鶴齡英華書院攻讀。在書院接觸到一些具有新思想的同學，感到清廷腐敗，非革命難以救亡圖存，便與張治海、黃則禎結盟於福州西門關帝廟，並謀在漳州、廈門舉行反清起義，未果。
光緒二十六年(1900年)，林之夏考入福建武備學堂；光緒二十九年(1903年)畢業，學冠其曹。翌年，江寧(今江蘇南京)第九楨統制徐紹禎聞其學績和抱負，召之任該鎮參謀。同年，由軍中趙聲、劉光漢介紹，參加興中會。林之夏為第九鎮立制度、訂章則，深得徐紹禎信任，不久升任第三十四標統帶。林之夏與時任第三十三標統帶的趙聲關係親密，由趙聲和時任第九鎮書記官的陳其美介紹，加入同盟會。從此以革命思想教育部下，所部營長林述慶、排長柏文蔚由此走上革命道路。
光緒三十二年(1906年)，同盟會在萍鄉、瀏陽發動起義，林之夏奉命率軍前往鎮壓，軍次萍鄉，卻與林述慶等人密謀起事，未能實現。光緒三十四年(1908年)，林之夏調任江西新軍統帶，繼續在軍中宣傳革命，所部排長李烈鈞等深為感動。因事機不密，兩江總督端方有所風聞，命江西巡撫馮汝騤將林之夏逮捕，幸得鄉人江西布政使沈瑜慶暗中通報，方免於難。後端方因查無實據，又聽從幕僚舒清阿延攬人才的勸告，復委之任江寧測繪學堂監督，不久調任三十六標統帶。在軍中繼續宣傳革命，未數月，又被人告發，端方派人日夕偵查。為免遭迫害，林之夏辭去統帶職務，仍秘密往來於江寧、鎮江、上海之間，策劃革命。
宣統三年(1911年)武昌起義爆發後，清政府調三十六標到鎮江與三十五標會合，以林述慶為新軍統領。林述慶及原三十六標官兵在林之夏策動下，於十一月七日回響起義。當時，上海都督陳其美所組織的江浙聯軍久攻江寧未克，而北洋軍又在漢陽告捷。林之夏以為：若不速下江寧，人心浮動，形勢危殆。乃預立遺囑，偕同林述慶率鎮江新軍猛攻江寧。經過一晝夜血戰，林之夏身受彈傷，仍奮勇向前，終於占領鐘山上的天堡城，迫使清提督張勛棄城宵遁。江寧光復後，其舊部柏文蔚率兵入安徽為都督，李烈鈞率兵入江西為都督，革命範圍擴大。孫中山後來曾回顧道：“鎮江回響，為有鏇轉乾坤之力。而此役之從中策動，運籌帷幄及親臨前線者，則為之夏及其弟知淵等人是也。”
民國元年(1912年)1月，孫中山就任中華民國臨時大總統，以林之夏光復江寧有功，任命為中央第一師師長、軍政部部長，授予陸軍中將加上將銜。福建軍政府成立時，林之夏被任為參謀部及軍務部部長。南北議和後，功成不居，辭職回鄉。在鄉期間，創辦學校，規劃公墓，助鄉人爭回被鄰村惡霸侵占的公產，使幾百戶人家衣食有賴，甚得梓里稱道。
民國2年(1913年)，李烈鈞、柏文蔚參加“二次革命”，在江西、安徽宣布獨立。時林之夏旅居北京，得知訊息後，化裝得以擺脫軍警圍捕。民國3年，應浙江督軍朱端聘請，任督軍署高等顧問，主持軍事編譯館，從此徜徉湖山，安居10年。民國14年，引疴歸里。民國21年，應蔣介石之聘，赴南京纂修國民革命軍戰史，不久即回。民國24年，應福建省政府主席陳儀之聘，任福建省政府參議。民國29年(1940年)，蔣介石聘其為軍事委員會中將參議。林之夏赴重慶纂修抗戰簡史，事畢回閩。抗戰期間，南京汪偽政權曾誘以要職，福州兩度淪陷時，日偽當局也同樣威迫利誘，林之夏均不為所動，並且一再號召鄉人從戎衛國。抗戰勝利後，目睹國民黨政權更加腐敗，心甚不滿，拒絕參加國民黨、三青團總登記。民國36年4月，在福州病逝。
林之夏文武兼備，才情橫溢，長於寫詩，曾參加“南社”，與柳亞子交誼甚深。著有《玉簫山館詩集》40卷，存詩6000餘首，柳亞子為之作序；另外還有《畫眉禪外集》詩作2卷及《海天橫涕樓集》等。其詩部分由上海南社叢刊登載，大部分在“文化大革命”中散失。林之夏書法秀勁圓潤，為世所重。
