與郵票結緣
李輝堂7歲時隨父到上海經商。20歲時，進入上海馬理遜洋行，學習建築圖打樣，並且開始學習英文。
當時，騎腳踏車去街上兜風是一件非常時髦之舉，李輝堂也買了一輛，每星期六必去騎一圈。有一天，他在街上遇到了一位外國人杜比的腳踏車壞了，李輝堂主動幫他修理。修完後，兩人閒談，杜比告訴他自己喜歡收集郵票，請他協助找些從信封上洗下來的舊郵票。在此之前，李輝堂還不知道郵票是何物，更不知道還有人在收集它。過了幾天，李輝堂從洋行往來的信件中，剪下來不少郵票，都送給了杜比，杜比回贈他一些餅乾糖果和10元錢。由此李輝堂開始與郵票結緣。
19世紀未和20世紀初，李輝堂住在上海雲南路會東里，後來搬到江西路桃源坊105號，便從事郵票買賣活動。為了經營郵票生意，他還在當時的報紙上刊登“收買人頭”和“龍頭”的廣告。
20世紀初，李輝堂從業餘郵商轉為職業郵商，在上海四川北路設店經營郵票。那時，中國人很少收集郵票，顧客幾乎都是住在上海的外國人。在這條街上，還有兩家郵票商店，店主都是他的廣東同鄉——陳紹周與馮興記——他們兩人經營郵票時間都不長。陳氏故去，馮氏返回廣東。
郵票軼事
1919年7月初，美國在上海郵局發行“美國總統像第一次加蓋改值郵票”，李輝堂從美國郵局買下了其中面值2元的全部復蓋郵票，將2枚送給售票員作為酬謝，其餘均按面值10倍至50倍售出。
當時，美國在華客郵郵局設在上海外白渡橋，今外灘公園附近。美國客郵局的職員張某與李輝堂是至交，李曾拜託張某代為注意變體郵票，多年未果。1922年12月下旬，美客郵郵局行將結束之時，張向李輝堂出示一全張面值2元的復蓋郵票，而且只按面值賣給他，以示友情。張某在美國客郵郵局即將結束時，奉命將所存郵票全部銷毀，面值2元者數量不多，置於最下層。當張某發現這是一張復蓋郵票時，設法將其挪於上層，趁美國人不注意時，藏於他處。
這張復蓋郵票，系加蓋時略有移動所造成，並非全張每枚郵票都見清晰復蓋痕跡，在全張右下方復蓋最明顯，左上方則不清晰。李輝堂將其撕開後，分等級出售。
李輝堂一生多次經手名貴郵票。例如，1922年4月，棉加義郵集第一次拍賣時，其中有一枚“紅印花小壹圓”郵票，當時爭購這枚郵票的人，只有那么兩三位，結果被李輝堂以銀200多兩（約合150美元）的代價拍獲。第二年，他私下賣給上海一位收藏家霍雪侯，售價不詳。霍氏在保存30年後，於1955年在香港以750美元的代價轉讓給美籍夏威夷華人收藏家李羅拔（ROBERTC.H.LEE）。
在“萬壽八倒”郵票中，有一種“萬壽加小字壹分倒蓋”郵票，李輝堂在民國初年曾獲舊票2枚，分別賣給德鏗和梁芸齋。但是，這種倒蓋郵票當時在集郵界被認為是偽品，而且時間還相當久，然而李氏深信絕非品，只是說不出道理來，直到40年代中期，也就是李輝堂逝世以後，才被上海國粹郵票公司主人陳志川考證為真品，其論文發表於《國粹郵刊》上。李輝堂經營郵票方式，相當保守與陳舊。民國以後、他不做廣告，只買賣一些高檔的中國早期郵票，也不設立門市，僅同當時著名的大集郵家交往，如周今覺、袁寒雲等。
袁寒雲在《說郵》中，記有“予初自復祥易得省新1元，繼以輝堂之介，自布許易得3分作2分倒蓋……”“清海關郵政局第一次大龍文券之闊邊3分新者，已極罕貴，而闊邊5分新券，尤為難得。難者為華郵大珍品之一，有求之累年，而無一購者。昨歲今覺，曾以一枚見賞，雖邊際微有裂痕，而膠水完好，色澤鮮潔，已自詡寶矣。頃以輝堂之介，又得一枚，視前尤為精美完善……”“予近以李輝堂之介，得自德意志國人某君所藏郵券一巨冊，就中珍品，累累，頗有僅存之奇寶，爰縷述之，以志郵錄。”“中華民國臨時中立郵券有二分一品，今覺藏一連殘函者，曾於郵話中記之。其外惟李子輝堂有之，亦連殘函。
從袁寒雲幾則簡略的記載，可以看到當年李輝堂曾賣給（包括介紹）他不少名貴的中國郵票。李輝堂雖然終身專門經營郵票生意，而且經手中國珍罕名品難以勝數，可惜他不注意研究郵票發行的來龍去脈，真偽鑑定，沒有個人的郵學著作，更沒有自己的郵集。據說此人還相當主觀與自信。由於經營手段落後，因此後來營業不振，無法與同行競爭，晚年生活苦不堪言，既吸食鴉片煙，又雙目失明。所剩郵票被其繼室以極低之價全部賣掉，對他並予以虐待。上海集郵界曾準備贊助他的生活，因其無獨立生活能力，找不到能使李輝堂真正受益的辦法，只得中止進行。
李輝堂在外國人主持的“上海郵票會”擔任過中國籍董事；在周今覺任會長的“中華郵票會”里擔任過拍賣部主任；在“中國郵商公會”里擔任過第二屆會長。
郵票事業
中國最早的郵票商社出現在1909年，一是上海的李輝堂，一是福州的"世界郵票社"。約20世紀初，李輝堂在上海江西路桃源坊105號的住家裡，開始了他的郵票買賣活動。為了經營郵票他還在報紙上刊登收買“人頭”和“龍頭”的廣告。朱世傑曾撰《老郵商李輝堂略傳》，對李氏評價甚高，其文曰：“吾國郵商前輩中資格最老者，當推李輝堂君。君粵籍，現高齡已六十有九，清末時，卜居雲南路會樂里，現寓居北江西路桃源坊一O五號。余在四十年前已與君訂交為郵友，過從甚密。其次有陳紹周及馮興記二君，亦粵籍，均設肆在北四川路，惟範圍較小。所謂吾國郵商創自粵人，言不虛也。陳君已逝世，而馮君亦回粵不知所終，獨李君健在。八一三後，炮火隆隆中，一度抱恙甚劇，同好聞之甚憂。余即親訪慰問，茲則早巳恢復健康矣。李君在遜清時代，本供職瑪立遜洋行，為建築打樣，交友廣闊，西友居多，因斯時集郵者皆為西人。而國人對於此道，極為幼稚，除胡亂貼上雜郵外，一無研究，何謂郵學，更非所知，對於國郵尤為漠然。李君有高足二，為馮榮齡與莊梁立二君，在寓所習練建築圖樣，兼習郵藝。滿師後，見郵業有發展期望，遂棄舊業而專致力於郵。馮君設肆四川路寧波路口，惜在一二八後去世。莊君設肆虹口，與繪慈禧萬壽票圖案之法人地維拉君之夫人稔。按夫人珍藏名貴華郵頗豐，莊君為之經手販售，獲利亦豐。工部局西人德根及施開甲二君，亦為莊之主顧。后庄君介紹施與夫人直接交易，珍品成交甚多。施君深感之，乃介紹莊於工部局打樣處供職以報之。”(載《郵典》第一卷第二期)
專業郵商
李輝堂先生常參加郵票拍賣會與西人競價。張賡伯在《郵海滄桑錄》中寫道：“李氏得風氣之先，早年為打樣師，後專營郵業。先後經營，垂五十年，珍品經手雖多，惟平時對於郵票不喜加以研究，票品到手輒盡。自信力太強，亦為後來營業不振之原因。二十餘年前，魯意師摩拍賣，每有一老者道貌岸然，手御鑽戒，口銜雪茄，據前排坐，每遇罕貴票，輒與碧眼兒竟購甚力。某次與一西人爭購臨時中立一角六分、五角票兩枚，出價高於市值一倍以上。此時國人高等集郵家頗少，人均為之注目。時余方弱冠，求學滬濱，亦時至魯意師摩拍購廉價西票，見此老者，亦以為奇，私詢於人，始知即老郵商李輝堂也。”
李輝堂先生還注意聯繫郵局人員取得變體郵票的優先購買權。自1898年起，大清國家郵政開始發行倫敦版“蟠龍圖”郵票，上海有位叫朱世傑的在郵局服務，那時他尚未集郵，也沒有郵識。有一天，朱世傑賣郵票時，發現面值5角的郵票全張票沒打齒孔，只好用剪子剪開出售。李輝堂此時正在洋行任職，已經具有一些郵識，囑託上海、北京、天津、福州等地郵局內相識的工作人員，如有打齒孔或錯印等郵票，他都可以高價收購。朱世傑聞之，非常後悔曾費功夫把能賺大價錢的郵票毀掉。李輝堂與朱世傑兩人商定，凡遇中縫漏齒郵票，面值在1角以內者，每3對作價1元。後來，朱世傑發現了不少這樣的郵票，每星期兩人都會交易兩三次，多則百餘對，少時也有數十對，李輝堂都是照價收取。
辛亥革命爆發以前，李輝堂主要是在家中接待外國集郵者，替他們補配中國郵票。他待人態度相當誠懇，從不得罪任何一位顧客。
李氏經手郵票珍品雖多，但自己很少保留。他曾經多次經手紅印花“小壹圓”郵票。有一次，有位外國人要賣給他一枚“小壹圓”郵票，索價100元，李輝堂還價92元，未能成交。1922年，棉加義的中國郵集在魯意師摩洋行分期拍賣，李氏拍得紅印花小字當一元新票一枚，萬壽大樣票三枚。“小一元”後歸霍雪侯所有，三樣票被收入周今覺郵集。這枚郵票黃氏圖鑑編號為第16號。據傳這一枚紅印花小壹圓票，是海關郵政客卿綿嘉義當年親自在郵局視窗購買的，當時共買了二枚，保存在綿氏中國郵票專集中。1921年綿嘉義退休，次年四月綿氏郵集在上海拍賣。郵商李輝堂拍得此枚，據聞當時拍價僅二百數十銀兩，約合美金150元左右而已。李輝堂鏇郎於1923年，將此枚小壹圓票秘密轉讓與霍雪侯，他人均無所知，直到二十五年以後，交通部郵政總局和新光郵票會，於1948年5月19日在上海聯合舉辦郵票展覽會，霍雪候以此枚郵票參加展出，集郵界始恍然大悟。霍氏保存30年後，在香港賣給美籍華人收藏家李羅拔。
《郵乘》第一卷第二期，“珍品披露”專頁曾刊出周今覺珍藏的“1922年美國在華客郵二元復蓋票四方連”珂羅版影印圖樣，此四方連就是從李輝堂手中購得的。
1927年，袁寒雲購得名貴的布許郵集，是由李輝堂介紹成交的。在《寒雲日記》中曾多次提及：“(1927年2月)十九日，李輝堂來，邀過布許家觀郵券。”“(3月)初五日，李輝堂來，邀至布許處觀郵券，有佳品甚多，索值四千元，署約而返。”“十四日，雨中偕輝堂訪布許，商郵集事。予先返，輝堂、布許攜郵冊繼至，遂以冊歸予，值四千金，珍券累累：最罕貴者有漢口、南京臨時中立用過者全七八枚。福州中立欠資全六枚。二元宮門倒印、四分暫作三分倒蓋、海關加蓋四分及一角棕色兩倒蓋、倫敦加蓋四分倒蓋等品，或久已名著，或未見譜錄，皆希世品也……”該年袁寒雲還從李輝堂手中購得不少國郵名貴票。《寒雲日記》載：“(二月)二十六日，輝堂來。為予以三百元易得中華三分券暫作二分倒蓋一品。厥券存世者不逾二十枚，亦奇寶也。”“二十八日，輝堂來，以光復、共和紀念券兩全部貽我。”“(三月)十二日，輝堂以新行限吉黑貼用郵券全部見讓。”“(四月)二十五日，輝堂為余求得限新省貼用新票，已銷印者全部，值七十元。”“(五月)初八日，輝堂攜示臨時中立中華民國二分郵券一品，聯一殘函，乃元年三月二十日自漢口寄往上海者，其文字與他品無殊，惟華民二字相離較狹，人遂疑為偽，或恐別有此版式，若萬壽券大字加蓋之有長短距離然，不得遽目為偽且郵印真確無疑，非作偽者所能辦。厥品海內僅存二枚，一歸今覺，一即此也。”“十二日，耀宗、輝堂來，為余易得清紅印花暫作二分郵商倒蓋一品，其上鈐卦形郵印，值七十元。”“十五日，輝堂為余以一百九十元易得珍郵二品：一海關第一次闊邊五分新券；一紅印花加蓋當五元新券。”
在“萬壽八倒”郵票中，有一種“萬壽加小字壹分倒蓋”郵票，李輝堂在民國初年曾獲舊票2枚，分別賣給德鏗和梁芸齋。這種倒蓋郵票當時在集郵界被認為是偽品，而且時間還相當久。然而李氏深信絕非偽品，只說不出道理來。直到李輝堂逝世後，才被上海國粹郵票公司主人陳志川考證為真品，其論文發表於《國粹郵刊》上。
組建郵會
1912年，在上海工部局任職的德根和施開甲、在中國海關任職的綿嘉義等人在上海開利飯店聚會，決定成立上海郵票會。這是中國出現的第一個集郵團體。中國集郵者中最早加入該會的是李輝堂先生，並擔任該會理事。1937年，為紀念該會成立25周年，曾於4月11日至17日在博物院路亞洲文會伍連德講堂舉辦集郵展覽，有30人參展，展品共268框，其中華郵占60％，商埠、客郵占10％，其餘為世界各國郵票。中國周今覺、李輝堂、葉頌蕃、朱世傑的藏品參加了這次展出，並在這次郵展中占有一定的比重。
1922年張承惠先生結識了華商證券交易所任職的陳復祥，由於有共同的愛好，邀約葉頌藩、李輝堂、黎永錦等中國集郵先驅，在滬文監師路陳復祥家聚會。8月，由先生和陳復祥發起，經過商議決定創立上海神州郵票研究會。會上推舉承惠先生為英文書記。“研集最久”的京兆畫家張株村為會長，會議規定每月舉行一次月會，為維護會員權利，交換票簿中的郵票不得售於非會員。
1925年7月11日成立中華郵票會時，李輝堂被推選為評議員。當時該會未設交換部。至該年12月6日召開第四次常會，始有人提議創設郵票交換部，並推舉李輝堂為交換部主任。為此，李輝堂認真制定了交換章程。不知何種原因，《中華郵票會交換章程》遲至1927年2月才由董事會審定通過。
李輝堂制定的郵票交換規則是建立在會員之間相互信任的基礎上，以郵票交換簿為載體；以交換部主任為中心；以輪流互寄的方法溝通會員有無需缺，使缺票會員可從容選擇所需之票，並先取票而後付款。使余票會員不必上市便可售出復品，這在郵票商業尚不發達時期，無疑受到集郵團體成員的歡迎。可是此交換規則手續繁瑣，在時間上受郵遞速度、會員閒暇時間等限制；在交換郵票品種和數量上受交換簿制約，且會員誠實程度參差不齊，其處罰辦法並不易實行，所以，郵票交換規則儘管制訂得十分周密，但在實際操作中，交換雙方都感到諸多不便，不如到郵商店攤選購或出售，不僅寬鬆自由，且可議價還價，隨意挑選。因此，中華郵票會會員之間的郵票交換活動並不那么活躍，參加的人數有限，影響也不大。
中華郵票會在1926年1月3日召開的該年首次常務會上議定要改組“領導班子”，即“添設董事會，……凡董事以常年居住本埠之會員為限，並可選舉外國人二名。”此選外國人為董事一節，乃是周今覺、李輝堂等人被推選為有外籍人的集郵團體——上海郵票會董事的回報。但此議遲而未決，或許是外籍集郵家不願接受，或眾會員反對此舉。至該年9月26日召開的第一次年會，經選舉產生的6名董事仍全是中國人。在會刊《郵乘》二卷四期插頁中，刊出了“董事部全體造像”及職務分工：周今覺，會長兼出版部主任；張棣村，中文書記兼會計部主任；葉頌蕃，英文書記；陳復祥，拍賣部主任；袁醴波，藏書部主任；李輝堂，交換部主任。上述6人，前5人均是集郵家，僅李輝堂一人自署郵商。不少著名郵商均未能入選，而李輝堂卻能獨占一席，可見李輝堂在周今覺會長眼中非同一般。
1936年1月1日，經過上海著名郵商陳復祥多方聯絡、醞釀籌備，在上海成立了中國第一個郵票行業組織——中國郵商公會。流通部由鄧伯昭與李輝堂兩先生負責。該會成立後，組織健全、紀律嚴明，注意郵商道德，得到了集郵界的認可和好評。
集郵著作
李輝堂雖然終生專門經營郵票生意，而且經手中國珍罕品難以勝數，可惜他不注意研究郵票發行的來龍去脈和真偽鑑定，更沒有自己的郵集與郵學著作。只是發表了幾篇概論性質的短文。
在《神州郵票研究會會刊》第一期中，刊登了李輝堂先生的《中國郵票史》一文，追述了世界郵票和集郵事業誕生、發展的過程，簡單介紹了中國大龍郵票、萬壽郵票及其改值郵票、紅印花加蓋暫作郵票及商埠郵票的有關情況，其中對萬壽郵票改值郵票敘述尤為詳細。在今天看來，這些文章可能失之淺顯，但作為發表在中國第一個集郵團體的唯一一份會刊上的文章，其影響還是較大的。
張包子俊先生創辦的《郵話》以奧倫多郵票公司名義出版，1942年1月1日創刊，第1期刊出時年71歲的郵壇元老李輝堂的300字簡短《敘言》，以及陳復祥先生的《郵商與集郵家之關係》，基本闡明張包子俊與年輕氣盛的鍾韻玉合作創辦奧倫多公司的宗旨。
淒涼晚年
李輝堂先生年輕時可謂風光無限，老境卻非常淒涼。由於經營手段落後，因此後來營業不振，無法與同行競爭，晚年生活苦不堪言，首先是票品被盜賣。據《新光郵票雜誌》7卷6期文章，李先生晚年所藏珍票，已經出售殆盡，但歷年所積的普通票如前清之無水印小套，民國之倫敦北京版半分至二元小套、新省公文貼用票等，均有大量儲積。一日，家中門戶未啟，忽失去次類票一大批，總值在二千元以上，李先生懊悔萬分。應該是其繼室所為。後來他雙目失明，吸食鴉片煙的舊好復發，因為久病沒有戒絕，所剩郵票被其繼室以極低之價全部賣掉，供自己揮霍，並對李先生予以虐待。上海集郵界曾準備贊助他的生活，因其雙目失明無獨立生活能力，恐怕錢款被其婦截留中飽，又找不到能使李輝堂真正受益的辦法，只得中止進行。
1943年1月10日，李輝堂先生在上海逝世，家徒四壁，全賴生前好友支持，後事才能辦成。《甲戌郵刊》第10卷1、2、3、4、5期連續發表了《李輝堂老境堪憐》和《李輝堂君在滬逝世》兩篇文章，對李輝堂先生晚年的遭遇寄予無限同情。《國粹郵刊》在《名郵商李輝堂逝世》訊息中寫道：“今日國內集郵家宜無不知李輝堂其人者。李氏經營郵業最早，在國人中應居元老之列。惜本人並無郵集，致晚年存貨售罄後，以日薄西山之年，歷遭坎坷，誠郵人中之最不幸者也。”
