林木順於1922年就讀台北師範學校（今國立台北教育大學），1924年遭退學，便前往上海入讀上海大學，並加入中國國民黨(依據Russian State Archive for Social and Political History in MoscowРГАСПИ 532/1/462/20記錄)；1925年底到達蘇聯莫斯科，先入學於孫逸仙大學，後因語言問題，與謝雪紅改進東方大學日語班。在第三國際〈一九二七綱領〉的指導下，林木順被賦予籌建台灣無產階級政黨的工作，從此正式與日本共產黨領導者建立密切的關係。
1928年4月15日台灣共產黨建黨大會在上海召開，林木順成為主要領導人之一，獲選為黨書記長，並負責黨的組織工作，手擬台灣共產黨〈政治大綱〉與有關勞工運動、農民運動的對策，日後並將「台灣民族」、「台灣革命」、「 台灣獨立」的概念引進台灣，影響台灣政治運動的發展。
日本警察在1931年於上海展開對台灣左翼人士的大逮捕，林木順雖成功逃脫，但從此便失去音訊。記載二二八事件的《台灣二月革命》一書雖然署名為林木順所著，但真正作者是楊克煌與蘇新。
