混跡華南
兵庫縣出身，舊筱山藩士磯谷次郎的三男。私立庹平國中鳳鳴義私塾，大阪陸軍地方幼年學校，中央幼年學校。1904年畢業於日本陸軍士官學校第16期，跟坂垣征四郎，土肥原賢二為同期同學。1915年陸軍大學畢業。1916年任職於參謀本部，1917年被派遣到中國，1920年駐在廣州。1924年升任中佐，步兵第13聯隊大隊長，1928年5月第六師團副、第3師司令部付(青島機關長)，同年8月，步兵大佐第7聯隊長。1930年(昭和5年)3月，第1師參謀長就任，教育總監部第2科長，人事局候補課長。1933年晉升為少將，任參謀本部第二部長。自認是日軍中的「支那通」。他的岳父就是日本第一代中國通，對華諜報鼻祖青木宣純。1935年任中國公使館副武官、中國大使館副武官。
磯谷廉介磯谷一生都專注於長江以南的政治、軍事，即關注孫中山和其系統的動向。在陸軍中國通中分為北支派和南支派，北支派主要重視以北京為中心的北支、滿洲，而南支派是關注國民黨和中國共產黨的人，主要注意蔣介石的動向。因此兩者存在很大的不同，而且在這對以後日本陸軍制定對華政策產生了很大的影響。在陸軍領導層分為歐洲大陸派、英美派、俄國派、中國派四派，相互之間充滿著矛盾和爭鬥。這也是導致日本對華政策不斷發生變化的原因之一。“稱為中國通的軍人也必須分開來看，不能一概而論。作為軍人，詳細調查、分析中國的國政、國防、軍事力量、民情，報告給上司參謀本部，以備戰爭，具有這樣共同的任務。但對中國的關心的方法、理解的方法卻有很大的不同。” 日本自明治維新以後，隨著富國強兵政策的實施，也開始了其大陸經營。其首要目標就是朝鮮和中國。為此，日本陸軍部早在1870年代就不斷派遣陸軍人員到中國，偵查中國的國情和蒐集中國的情報，1874年出兵台灣後經過日中談判，臨時派遣被中止，開始設定駐清國公使館武官。而磯谷也是在這樣的環境下開始對中國感興趣的，在陸軍士官學校畢業之際，他說：“我學校的成績都可以，總之希望去支那，不想進陸大。”
儘管佐佐木到一在其所著的《一個軍人的自傳》中，孫中山自稱大元帥，而廣東人卻稱他為“孫大炮”，但磯谷卻不如此認為。他對孫中山持有全部敬愛之心，視孫中山為老師。1908年由於軍部的命令，磯谷廉介首次在上海訪問孫中山。磯谷按照和岡村寧次的約定，開始走向支那通之路，但他比岡村提前一步在中國接觸到孫中山。和孫中山會見後，對中國更加關心的磯谷在1911年辛亥革命爆發後，決定在孫中山手下工作。由於磯谷對孫中山懷有敬意，認為孫中山是為中國國民獻身，而蔣介石是為自身和宋家的利益接近英美，共同採取抗日、排滿政策。這造成“磯谷一生都沒有從心裡信賴蔣介石”。“在中國軍閥和有力者中，與自己國民的將來相比，將自己、自已的一族或支持自己的人的利益放在第一位的人多。很多軍人沒有充分理解那樣的風氣。”
1935年11月8日，在國民政府發布幣制改革公告四天后，駐中國大使館武官磯谷發表如下關於幣制改革的武官聲明。作為派出軍部，斷然反對國民政府此次的幣制改革。這是因為幣制改革實際上只能給支那四億民眾帶來毀滅。
對於磯谷武官的強硬聲明，日本陸軍中央部也認為：“白銀國有令必然歸於失敗，白銀國有給中國民眾帶來不幸，特別是依賴英國的援助乃賣國”，非正式地表示贊同。磯谷之所以反對幣制改革，是因為他認為幣制改革是英美兩國打入中日兩國之間的一個鍥子，國民黨政府實施幣制改革可能會得到英美兩國的大力支持，這樣必然會擴大英美對中國的影響力，削弱日本對中國的影響。正是從這個層面上，磯谷反對幣制改革。正如半年後他又承認幣制改革取得很大成效一樣，說明他此時並不是反對幣制改革本身，而是反對在英美的幫助下所進行的改革。說到底，這是反對英美擴大在中國的影響力，避免給日本的侵略活動帶來困難。
1936年磯谷廉介回國之際，表達了他對關東軍的對支政策和蔣介石的看法。他認為：“日本的對支政策沒有看到辛亥革命以來中國新的前進方向、民族自然發展的進步，沿襲對古代支那、軍閥割據時代的支那認識，正面否認蔣介石所代表的統一國家的進展，依舊從事分治工作。”“由於陸軍內部的大部分支那通對支那認識的先入觀念很強，看不到中國正在前進的大勢，最終迫使蔣陷入不得不親蘇容共的困境。”當時，陸軍中的中國通認為蔣沒有統一中國的力量，由於中國是相當廣闊且異質的國家，分治工作自然行得通，至少有必要在北支使其分離成立親日滿政權。這種可能的錯誤的對中國的形勢是陸軍普通的想法。
儘管磯谷警告不要用武力推動對中國的政策，但是，陸軍中央部的大部分人和政府、財界等人的中國政策、中國觀沒有按照磯谷所說的那樣改正。1935年12月，也沒有從關東軍向中央提出的意見書《關於北支問題》的位置上後退一步。1936年中國發生震驚中外的“西安事變”，蔣介石遭到軟禁。對此，磯谷也非常關注，但對蔣介石卻給與嘲笑。這“不是沒有認識到西安事變事態的重要性，即便討厭蔣介石，對蔣介石的性格行動、政治性進行充分研究的磯谷為其祝福掩藏著很深的意義。”
1938年6月磯谷廉介被任命為關東軍參謀長，成為陸軍中具有重要影響力的人物。由於和孫文、廖仲愷、汪精衛、許崇智、王克敏以及蔣介石等中國人有很深的交往，磯谷的中國觀在日本軍人當中顯得比較特別。他認為日本不應該侵略中國，即使暫時不得已侵略，也要儘快以和平為要。而副參謀長石原莞爾卻與此相反。石原認為中國終究不能夠統一，而且滿洲也純然不是中國的領土，乃滿族之地。這種認識不僅是石原，也是日本陸軍、政府和財界等多數人的共同認識。
戰場敗將
1936年(昭和11年)3月23日就任軍務局長，全力平息二·二六事件帶來的影響。同年12月晉升為中將。1937年3月，被任命為第十師團長。77事變後出征華北，38年跟中國第五戰區司令長官李宗仁指揮的國民革命軍在台兒莊會戰，一度受挫。同年6月，接替東條英機成為日本關東軍參謀長。
1939年5月，偽滿洲國軍隊跟蒙古軍隊在諾門坎發生小規模邊境衝突，後演化成為日本關東軍與蘇聯紅軍的正面對決。朱可夫指揮6個旅70,000名蘇聯遠東軍，以機械化部隊擊敗兩個師團約4萬名日本關東軍。18,000名日軍戰死或受傷。日本全國震動，平沼騏一郎內閣請辭。關東軍司令官植田謙吉及參謀長磯谷廉介被撤職，磯谷廉介轉預備役。
香港總督
1941年12月7日軍偷襲珍珠港後向英、美宣戰。酒井隆指揮日軍進攻英國殖民地香港。經過18日的戰鬥，香港總督楊慕琦在12月25日向日軍投降。外務大臣東鄉茂德看重他的才能，勸首相東條英機再度起用磯谷廉介，被任命為香港占領地總督，於1942年2月20日正式上任。1944年12月24日，磯谷廉介調任台灣行政司長，香港占領地總督一職改由田中久一接任。磯谷廉介占領香港期間，日軍從香港奪取各樣物資，包括強迫市民換取無保證的日本軍票。又實行日化教育，禁止使用英語，把香港街道及地名改為日本名；推行疏散政策，迫使香港居民遷回內地。到1945年日本投降時，香港的居民人數降至70萬，只及戰前的一半。
法庭審判
1946年，國民政府在南京軍事法庭判以戰爭罪審判磯谷廉介。1947年磯谷廉介被判無期徒刑，1949年從2月開始在被關在巢鴨監獄，1952年8月被假釋，1967年死在日本。
