能夠得到余靖、蔡襄、蔡抗這些重量級人物的“交章推薦”，自然非泛泛之輩。蔡襄說盧侗“行實朴茂，學術優深，久在嶺南，眾所稱服。”（《端明集》）因反對王安石變法，在朝中不僅未能施展才華，反而受到抑制。盧侗與執政者即新黨格格不合，乾脆“提前離休”，在熙寧九年即五十五歲那年，以太子中書舍人致仕返潮州，終老家鄉。等到日後元祐更化時，舊黨執政，孫覺任職於朝，彈劾不少新黨權奸。盧侗因較先退職，沒有再回朝參與元祐更化，卻因此免於列入“元祐黨人碑”，世事真是難料。
《孫公談圃》說到盧、孫交往的事，文雖短，而透露不少信息。“盧侗，昭〔潮〕州人。蔡挺薦為國子直講，為人樸質，不修人事。至京杜門，以故皆疏之。唯孫莘老與之善。莘老見侗看《易》，詰其義，皆非今世所學，得京房歷數之說。莘老出京，侗夜半餞之，言莘老禍福，後無不中者。”
事情發生在熙寧三年，盧侗時任國子監直講，因反對新法，不屑與新貴交往，故在京杜門不出，視孫覺為知交。第一，孫、盧都反對新法，政治觀點相同；其二，都嫻於《易經》，學術愛好相近；三是同具樸質之格，人品秉性相知。這樣，自然同聲相應，同氣相求。《談圃》說盧是“昭州人”，考察《道光廣東通志》、《嘉靖潮州府志》盧侗本傳，以其經歷、仕途升轉而言，當為“潮州人”之誤。大膽推測，《談圃》作者孫升與孫覺同時同里，盧事當聽孫覺所言，後《談圃》由劉延世整理，是有“潮、昭”諧音之誤。所謂“莘老出京”，是孫覺反對變法，落職廣德軍。孫、盧都犯“政治錯誤”，當孫覺出京，也只有盧侗敢來送別。從“言莘老禍福，後無不中者”，可知盧侗對於易學甚有研究。與孫覺一樣，都走西漢今文易學“京氏學”創始人京房的路，即以通變說易，從災異而推論時政得失。
是年十一月，盧侗罷國子監直講，（《舊聞征誤》）調為文臣寄祿官即閒曹的衛尉寺丞。由蘇頌撰制詞，對其評價甚高：爾以藝名家，禮闈奏技。勾稽南服，外台稱其廉平；講訓上庠，諸生服其行誼。姑用年勤之久，敘升卿屬之華。尚倚師儒，使留黌序。其益思於循誘，冀有助於化成。（《蘇魏公文集》）
遺憾的是，盧侗的《周易訓釋》等著作沒有傳下來。林大欽說“盧侗、安石之論，有國士之風”，（《林大欽集》）是說變法之爭，但盧的言論，不得而知。《全宋文》和《全宋詩》僅分別錄其一文一詩。這樣，對盧侗的研究，無異於從一塊磚頭來了解長城一樣，我只有努力加餐。從星星點點的史料看，盧侗秉性樸質；富有識見，於國是敢直言；精於易經，善於教育後進；事親至孝，為鄉人所推重。但這無疑是掛角一將。
《乾隆柳州府志》錄其《登仙奕山》一首，算是嘗一臠以知味：畏對青山老一秋，逢春又向碧岩游。
憑空為問蓬萊客，何物能消萬古愁。
哲人其萎，孫、盧二公都已墓木可拱，而一千年後，高郵四賢祠，揭陽八賢館，即是歷史的肯定，正如孫覺《題范公堂》詩所說：“歲月益已久，父老傳清風。”
盧侗公家訓
不因果報勤修德豈為功名始讀書
慎言宜守三緘訓
處世常懸百忍圖
