他在荒涼的邊陲之地勞改期間，修過馬路，造過房子，挖過菜窖，打過機井，拉過板車，開過荒地；“自然災害”時期，他用稀糊糊和爛土豆填過肚子。苦役、飢餓、鬱悒、超負荷的勞動，過早地損害了他的健康。
“文革”中，余易木與另外兩名右派一道，被打成青海省物資局的“三家村”，“蘇修特務”，所在單位的造反派，對他拳打腳踢，強制著給他剃了陰陽頭，把他拉到大街上遊行示眾，關“牛棚”，並查抄了他的宿舍，焚燒了他心愛的書籍。當人的尊嚴受到極大侮辱之後，他對這個世界已不再留戀，為此，余易木曾服大量安眠藥自殺未遂。七十年代末，《小說界》主編、上海文藝出版社副總編輯魏心宏去青海組稿，魏曾應邀去余易木家吃過一次飯，鍋碗以及油鹽都是余易木向鄰居借的。他住的房子是那樣慘，低矮不說，還非常殘破，屋子裡光線昏暗，他的床單幾乎就和在煤灰里滾過一樣髒。當時余易木依然獨身一人，已經到了吃了上頓沒下頓的境地，人的樣子，絲毫不誇張地說，就如同鬼一般可怕。他頭髮很長，人很瘦，很高，幾乎淪落成類似乞丐的人了。而且就在他們吃了飯之後一會兒，那所房子就塌了。
“文革”後，即1980年春天，也是發配到青海勞改的右派——美術家王復羊平反後，從青海西寧把余易木在六十年代初期寫的短篇小說《春雪》帶到首都，交給作家從維熙，再由從維熙把它交到《十月》雜誌編輯張守仁手中。張守仁尊重作者的意願，發表時未改動原稿中的一個字、一個標點符號，將《春雪》發表在《十月》1980年第3期上；《春雪》發表半年之後，余易木從西寧給張守仁寄來了他在六十年代中期完成的中篇小說《初戀的回聲》，張看完此稿，立即又一字不改地編髮於《十月》1981年第2期。
短篇小說《春雪》、中篇小說《初戀的回聲》發表之後，余易木的名字在青海和全國文學界震響。當時有不少青海省內外女性讀者，看了作品，心靈受到強烈震盪，懷著崇拜心理，紛紛寫情書給作者，願許終身。余易木一一婉辭。其中有一位來自龍羊峽、年輕漂亮、酷愛文學的姑娘，執著追求，鍥而不捨，終於與余易木建立了一種超越讀者和作者關係的戀情，最後結為伉儷。英美有些名牌大學將他的小說作為東亞系研究生的教材……
就憑一個短篇、一個中篇，余易木加入了青海省作家協會、中國作家協會，並榮任了1984年青海省國慶三十五周年優秀文學作品獎的評審。當時青海省文聯決定調余易木當專業作家，他怕寫遵命文學，失去寫作的自由，堅辭不肯，仍在工廠供職。
幾十年來，余易木一直承受過重的勞役、過多的磨難、經常以饅頭、速食麵充飢積累下嚴重的傷病，加之抽劣質煙過多，1998年初，他因肺部感染引發心臟病，住進醫院時已經形銷骨立、羸弱不堪，最後“心肺衰竭”於1998年8月18日下午6時30分過早地走了，年僅61歲。如果他能活今天（2006年）也才是69歲。
去世後友人們前往他住處幫助整理遺物，發覺他家中清貧如洗，家具破舊，連像點樣子的替換衣服都找不到，只得臨時派人到街上買了一套“老衣”，給他洗淨了身子穿上。余易木一生悲苦，兩袖清風。
余易木精通法語、德語、英語、俄語。
解放前他在上海，從國小三年級就開始學習英語。他像個神童，竟然能背字典，很早就能看英文文學名著。法語，余易木是從小自學的，解放後又向一位因有所謂歷史問題而不受重用的法語專家苦學了兩年，終於達到了相當高的造詣。俄語是他的強項，他在大連俄專學習期間，就能閱讀俄文版普希金的詩和托爾斯泰的小說，《歐根·奧涅金》、《安娜·卡列尼娜》、《獵人筆記》等經典作品，他只看原著，不看譯文。
上海作協主席、主編過《中國大百科年鑑》的詩人兼學者羅洛先生的譯著《法國現代詩選》，部分譯文曾請余易木校閱；《十月》雜誌原副總編輯、魯迅文學獎、馮牧文學獎終審評審、著名散文家、翻譯家、編輯家張守仁先生（現年73歲）曾說，我與上海同鄉余易木交談起來，會突然發覺我的外語水平不如他，常有羞愧、汗顏之感。
余易木在西寧曾看到北京某文學出版社出版的《巴馬修道院》的譯本，細讀之下，發覺譯文不符合他早年讀過的法文原著的風格，便托青海省圖書館一位好友，從北京圖書館裡借調出法文原著寄到西寧，他翻譯了書中關於滑鐵盧戰役的精彩篇章，給一位原在上海工作、50年代被貶到青海、精通法語的著名天主教神父看。那位能用法語思維、寫作的神父，對照了原文和兩個譯本，對余的翻譯擊節讚賞，認為只有如此翻譯，才比較符合原作的神韻。
上世紀六十年代初，余易木在青海的兩位右派朋友背著人潛心研究，寫出了一篇當時處於領先水平、關於“裂極式三相同步交流電動機”的學術論文。他們因國內刊物不發右派文章而苦惱不堪，余易木便自告奮勇，把它譯成了俄文，將譯稿寄往莫斯科，投給蘇聯科學院主辦的權威刊物《злектричество》（《電》）。該刊主編Волбаек（伏爾傑克）審閱之後，欣然回函，表示同意發表。只因隨後中蘇關係破裂，該論文才未能刊出。“文革”結束後，精通俄文的翻譯家張守仁先生看完這篇長達18頁，用詞精確、邏輯嚴密的科技譯文，既佩服又驚嘆，稱余易木的俄語修養，無論是文藝方面或科技方面，都達到了庸常之輩如我者難以企及的程度。
余易木少年時代閱讀了大量中外名著，深受文學的薰陶。他一生迷醉於法蘭西文學，他幾乎熟悉全部的法國作家，不論是古典的，還是當代的，他喜歡大仲馬，喜歡司湯達。他認為像《紅樓夢》、《史記》、《雷雨》、《故鄉》、《戰爭與和平》、《巴黎聖母院》、莎士比亞悲劇、《藍色多瑙河》等經典作品才能稱得上不朽，它們經得起幾百年甚至幾千年歷史長河的篩洗。凡是與余易木接觸過的作家，都認為他的文學功底十分豐厚、知識非常淵博，是個眼光不俗的人。
余易木筆名的由來：在西寧，他有兩個好友：一個是畢業於廈門大學電機系的楊遜，一個是畢業於西安交大電機專業的林哲民。這兩位高材生也是被劃為右派後貶謫到青海的。他們三人惺惺相惜，患難中互幫互助，情同手足。“文革”初期還被打成青海省物資局的“三家村”，不許他們串聯，但三人打著暗號仍有秘密往來。徐福堂用“余易木”這個筆名，就是由“徐”、“楊”、“林”三個姓氏中的右偏旁組成的。
余易木同時也是一流的高級工程師，從理論到實踐，都表現出眾。當楊遜、林哲民兩位名牌大學高才生遇到了圓錐齒輪公法線長度不好算的難題請教他時，他的腦子像電腦似的好使，立即建議他們參考捷克人計算時使用過的公式。他們得到了啟發，根據嚙合原理，推導出精確公式，算出了理想的結果。和余易木共事三十多年的廠長趙伯勛說：“機械製造中常用的公差與配合表，數據異常龐大，徐福堂居然能背出來。談到工程技術方面的數據，一旦誰說錯了，他立即給予糾正。”為了推出一個新產品鋼模板，趙廠長和徐福堂到西安、北京走馬看花參觀了一下，徐福堂就胸有成竹，回西寧後很快試製成功，使工廠很快扭虧為盈。徐福堂一生固守清貧，即使外單位用高薪聘請他，他也不願另攀高枝，說：“正是修造廠最需要我的時候，我走了，那就不仗義了。”
余易木還是一位有超常能力的預言者。“文革”之初，他和青海省物資局局長關在同一個“牛棚”里。局長感到前途渺茫，消極悲觀。余易木就安慰他：“將來大部分幹部總是要解放出來工作的，而且據我判斷，你會比我早幾年走出‘牛棚’。”後來運動的進程，完全證實了他的預見。
“文革”中正當江青紅得發紫、飛揚跋扈、挾天子以令諸侯之際，余易木對知己的人預言說“這個張狂的女人將有最悲慘的下場”。1976年“四五”事件之後，鄧小平被批成“中國的納吉”下台，他堅信鄧小平還有回到政治中心舞台上為中國人民做事的機會，時間不會太久，勸朋友們耐心等待。他的預言，果然被其後的歷史一一應驗。余易木洞察歷史，聰慧過人。他在西寧的朋友，對此莫不佩服。
魯迅文學獎、馮牧文學獎終審評審張守仁先生於2005年，悼念余易木逝世六周年時撰文，張老以文學界少有的嚴肅和憤激寫道：“余易木在階級鬥爭劍拔弩張的歲月，漠視權貴、嘔心瀝血寫出的這兩部作品（註：《春雪》和《初戀的回聲》），由於其藝術質量峰值之高，不僅在上世紀六十年代國中無人能與之比肩，就是放在新時期繁榮以來眾多獲獎的中、短篇小說中也毫不遜色，且仍能顯示出它們卓異的光彩。可是當代評論家們、文學史家們從不對余易木的作品議論幾句，或記上一筆，一直保持高度的沉默。這是有意的繞過呢，還是無意的疏漏？這是否反映了當代文學評論家們研究的視野因忙於熱門話題而過分狹窄呢，還是因為缺乏獨立識見而產生的跟風、從眾心理在作祟呢？筆者孤陋寡聞，在此就教於方家。”
張老在文中評價余易木及其作品，“在思想異常禁錮的時期，當絕大多數被劃為右派的知識分子們夾緊了尾巴，用苦役改造自己的時候，易木兄還能在逆境中挺直脊樑，堅持自己的藝術觀，酣暢淋漓地描寫苦難、悲戚的愛情小說，哀嘆真、善、美的毀滅。其稀罕程度，猶如在冰天雪地、朔風凜冽之中的枯枝上，尚有一隻黃鶯兒鳴唱起了悽美、多情的歌。真可謂大音希聲!因此，《春雪》和《初戀的回聲》的重要性，難道不是和上世紀五十年代前蘇聯文學中愛倫堡的《解凍》和帕斯捷爾納克的《日瓦戈醫生》等作品具有相同的價值和意義嗎？”
余易木逝世後，青海省文聯副主席陳士濂擬了一副輓聯“難忘《春雪》霏霏怎奈斯人獨憔悴，猶聞《回聲》咽咽哀哉秀木竟先摧”以及橫批“美文長存”，由青海省書法家協會主席林惜醇書寫後掛在靈堂上祭奠。那天到靈堂弔唁的有機械修造廠的幹部，省作協的代表，還有零零星星幾位文友。余易木遺體於8月20日火化。一切遵照他臨終前的遺囑：不開追悼會，不舉行遺體告別儀式。只有逝者生前幾位好友、廠里幾個同事和他唯一的女兒徐吟為他肅穆送行。據說余易木留下了在“文革”中寫成的兩部近百萬字的長篇小說遺稿，至今尚未面世。
2004年底，余易木生前好友邢孔榮先生將他的骨灰盒從西寧遷回到他的故鄉上海。按照江南民間冬至下葬的習俗，安放於市郊嘉定長安公墓祥24B區第11排第6號墓穴。在墓碑上鑿刻了“徐福堂之墓”五個字，一代英才長眠於此。
