呂琦，894年生於幽州安次（現廊坊安次區），祖父呂壽擔任景城（今滄州市一個鎮）主簿。父親呂袞任過滄州節度判官，檢校右庶子。後粱開平二年（908年） 劉守光記恨呂袞助侄子劉延祚守滄州城，就捉獲呂袞一家，要誅族。呂琦只有十五歲，臨刑前，呂袞的朋友趙玉欺騙監斬官說，呂琦是他同胞弟弟，救下了呂琦。呂琦腿不好，趙玉背著他走了幾十里才逃了命。呂琦隱名改姓，流落他鄉，在今山西乞討並勤奮學習和遊學。
呂琦長的俊美丰儀，有氣度。後唐莊宗拜他為軍事判官，開始步入仕途。呂琦性格剛直，天成初年擔任殿中待御史等要職，就懲辦了奸惡尹訓。
呂琦仁厚寬容。後唐廢帝因失守河中，被罷職居在京城清化坊，與呂琦同巷。呂琦經常去坐一坐攀談一番。後來廢帝當了皇帝，格外厚待呂琦，拜呂琦為知制誥、給事中、樞密院直學士、端明殿學士。
呂琦遠見卓識，廢帝看出鎮守河東的石敬瑭有二心，就和呂琦、李崧等人商討怎么辦，呂琦認為石敬瑭要造反，必引契丹為助，不如趁現在契丹要求和好之機，採用漢代和親的方法把公主嫁給契丹，再每月給些金帛，使石敬瑭無外援可引。樞密直學士薛文遇誚諷呂琦是婦人之見：“社稷依明主，安危托婦人”。廢帝也大怒起來，呂琦、李崧等人惶恐不安跪地謝罪，呂琦因腿疾拜了幾下停止立身起來了。廢帝說：呂琦是在拿主人的架子看我吧。呂琦一聽是壞事了急忙說：我歷來腿就有病，等我歇一會再跪拜謝罪吧。喘息定了又說：陛下以為臣等說的不對，判罪就可以了，讓我跪拜又有什麼益處？廢帝氣有些消了，說：“勿拜”。賜給酒一杯讓退不，數天后降呂琦為御史中丞，數月後又恢復為端明殿學士。後來石敬瑭果然引契丹為助，亡了後唐。後晉皇帝石敬瑭留用了呂琦，改任他為秘書監，隨後得到後晉皇帝石敬瑭重用。歷遷任過禮、刑、戶、兵部侍郎，官達金紫光祿大夫。後晉皇帝正準備讓他擔任宰相，他卻突發疾病，天福八年（943年）去世。君臣都很惋惜。
呂琦知恩必報。趙玉後來官至職方員外郎，呂琦待他如父，趙玉生病了，他親自嘗藥扶侍。趙玉去世，呂琦為其主辦喪葬。並把趙玉兒子趙文度當兒子一樣教習，後來趙文度考中進士。
呂琦有兩個兒子，長子呂餘慶擔任過宋朝副宰相、次子就是毛澤東說過大事不糊塗的宋宰相呂端。
