五十至六十年代
1952年，首次參加世乒賽的日本隊率先成功使用了海綿球拍，打破了前18屆世乒賽歐洲人一統天下的局面。隨後的第21屆至25屆世乒賽，日本隊蟬聯男團冠軍，開創了20世紀50年代的日本桌球王朝。
荻村伊智朗是當時日本最優秀的桌球運動員，他獨特的發球和掄扣技術成為當時的標誌性打法。打破日本隊乒壇霸主地位的是迅速崛起的中國隊：1961年，第26屆世乒賽落戶北京，男團決賽在中國隊和上屆冠軍日本隊之間展開。中國隊八盤苦戰，終以5比3險勝日本隊，第一次捧起斯韋思林杯。同時，莊則棟繼容國團之後將聖·勃萊德杯再次留在中國。這屆世乒賽對日本隊無疑是一個沉重的打擊，為了“重奪世界乒壇霸權”，日本隊特別成立了“加強選手訓練工作委員會”，進行了更加嚴格地培訓。
然而，投入了大量人力物力之後，由於難以攻破中國隊的速度優勢，三木、木村雖然打法兇猛，反手位始終是軟肋，加之對張燮林的長膠削球懷有恐懼心理，日本男隊在第27屆世乒賽上仍然全軍盡墨。兩年後的28屆世乒賽，日本隊第三次敗在中國隊拍下，再次獲得亞軍。
儘管日本隊連續丟掉了三屆團體冠軍，但他們的弧圈球技術為世界乒壇帶來了歷史性的革命。在中國隊缺席的第29、30屆世乒賽上，日本隊重登世界第一寶座，橫拍弧圈結合快攻打法的長谷川信彥更是奪得了第29屆世乒賽的男單冠軍，同時獲得男單亞軍的河野滿也和其他日本選手迥然不同，是直拍生膠兩面攻打法，技術風格類似於莊則棟。
七十至九十年代
然而隨著中國隊重返國際乒壇和歐洲力量的崛起，日本隊在雙重夾擊之下，依靠長谷川信彥與河野滿已難支撐大局。
1971年第31屆世乒賽男團決賽，日本隊2比5不敵中國隊，失去了保持了四年的斯韋思林杯。
第32屆世乒賽，日本隊又連負瑞典隊和中國隊僅獲得第三名。長谷川信彥退役後，日本男隊陣容更加捉襟見肘。
第33屆世乒賽，日本隊連續負於中國、匈牙利、南斯拉夫，只名列小組第四。
第34屆世乒賽，日本隊依靠河野滿的出色發揮進入決賽，但是中日男團決賽呈一面倒，日本隊0比5慘敗，河野滿分別敗在了梁戈亮和黃亮的魔拍之下。
第35屆世乒賽，日本隊獲得男團第三名，而在單打比賽中，年輕小將小野誠治先後戰勝了黃亮、魯堯華、梁戈亮、郭躍華，為日本隊奪得世乒賽至今為止的最後一個冠軍。死抱陳舊觀念導致了日本隊在上世紀80年代的全面潰敗。
到了90年代，一直擺脫不了60年代單面拉影子的日本進攻型選手已經無力和世界勁旅抗爭，無奈之下，日本隊只得起用松下浩二和澀谷浩兩名削球選手，但仍難有起色。隨著前中國選手韋晴光（1988年漢城奧運會男雙冠軍）的加盟，日本隊在45屆世乒賽短暫回勇，進入男團四強，半決賽0比3負於中國隊。
之後韓陽、宋海偉等前中國球員的陸續加入，一度充實了日本隊的實力，但整體來講和世界強隊還存在著很大的差距。
新世紀
2001年，宮崎義仁出任主教練後，日本男隊在依靠“外援”的基礎上，確立了大力培養年輕隊員，在2012年倫敦奧運會上挑戰桌球霸權的戰略計畫。各方面傾力投入,將運動員從小就送往歐洲訓練。目前活躍在乒壇的水谷隼、岸川聖也、松平健太等日本隊新生代主力選手，就是這一計畫的成功代表。
2008年第49屆世乒賽和29屆北京奧運會，日本隊在“外援”和日漸增長的年輕力量的雙重因素下兩次進入團體四強，這樣的成績也極大地堅定了日本人的信心，並開始逐漸擺脫依賴“外援”打天下的尷尬局面。
2009年的亞洲錦標賽，以本土年輕選手為主力陣容的日本隊和中國隊會師男團決賽，最終以2比3惜敗，接下來的東亞運動會男團決賽，日本隊再次以1比3輸給中國隊獲得亞軍。
2010年第50屆世乒賽，日本隊在小組賽中力克德國隊進入男團四強，半決賽0比3不敵中國隊獲得第三名。
可以預料，隨著水谷隼、岸川聖也的不斷成長，已經全方位完善了內部造血功能的日本隊對未來世界乒壇的衝擊力也會越來越強。
