光緒年間
光緒二十二年得尚書懷塔的賞識,始任戶部主事,翌 年薦升戶 部郎中。寓京期間,他交遊日廣,結識了不少革命黨人,其中有蘇 曼殊、徐錫麟、吳祿貞、李煜瀛、秋瑾等人,後來又結識了孫中山, 雖曾被指控為“附逆”而不顧。戊戌變法失敗後,他認為欲發憤圖 強,必須先開民智。因此資助楊模、俞復、侯鴻鑒在無錫創辦翊實 學堂、三等學堂和競志女學,並將無錫私宅讓給女學做校舍。
光緒三十年冬,因不滿清廷統治,辭職南歸,移居滬上。翌年, 在上海曹家渡購地築園,營造別墅,題名小萬柳堂。光緒三十二年, 在上海集股創辦文明書局,聘請無錫俞復、丁寶書、趙鴻雪等知名 人士任編輯,編印新式學堂教科書,出版文學藝術譯著等。他還送 趙鴻雪去日本學習珂羅版、銅版等先進印刷技術,使文明書局成為 我國最早採用珂羅版、銅版、鋅版印刷書籍的書局之一。至民國10 年(1921年),因股東分歧、同業傾軋,文明書局合併給中華書局。 光緒三十三年,吳芝瑛好友秋瑾被害,他協助吳芝瑛將其遺骨 葬於杭州西泠橋畔,並請無錫著名畫家吳觀岱描畫了《西泠寒食圖》, 並在秋瑾就義處軒亭口建立“風雨亭”,在杭州南湖小萬柳堂別墅 內建立“悲秋閣”,以誌哀悼。清廷為此欲加害於他們夫婦,後迫 於輿論的壓力未敢下手。
宣統年間
宣統元年(1909年),汪精衛等人謀炸攝政王載灃未成被捕,他曾以私交向載灃說情。宣統三年,安徽新軍協統顧忠琛因受馬炮營起義失敗的牽連而逃到上海,廉泉將他隱藏在文明書局內。辛亥革 命後,廉泉隱居北平潭拓寺,目睹軍閥混戰,民不聊生,憂時憤世的詩文常見諸報端。民國3年(1914年)赴日本,在神戶椰取山造住所,取名為三十六峰草堂,並在東京開設扇莊,介紹中國書畫, 與日本文化界名流評讀書畫,推敲金石,切磋詩文,頗有影響。民 國6年從日本回國,曾任故宮保管委員等職。北伐勝利後,曾被任 命為江蘇省屠宰稅局局長,他堅決不就。民國18年蔣介石到北平, 吳稚揮按蔣介石意思,要為廉泉安排一個重要職務,亦遭其婉言拒絕。當時他雖三餐不繼,但不肯受權貴之資助。他晚年生活十分窘困,因負累甚巨,不得不將杭州和上海的小萬柳堂別墅先後易主。 廉泉性情豪俠,節操高尚,輕財重義,樂於助人。不少事跡, 傳為美談。 民國20年,他獨赴北平潭柘寺養病,並因信佛而入寺為僧。同 年10月6日,病逝於北平協和醫院,安葬於潭柘寺旁,終年63歲。 遺著有《南湖集》、《潭柘集》、《夢還集》、《夢還遺集》等。