投身革命
許建國與妻子方林合影許建國，原名杜理卿，1903年9月出生在湖北省黃陂縣南陽鄉杜家嘴的一個農民家庭。因家境貧寒，幼年時就綽輟離家，跟隨伯父到河南確山、泌陽及漢口等地刮腸衣、做學徒。1916年初，年僅13歲的許建國來到安源煤礦修理工場當學徒，後來進入劉少奇同志主辦的職工夜校學習文化，接受革命教育。在中國工人運動的烈火中，許建國經受了鍛鍊，接受了馬克思主義。
1922年秋，許建國參加了中國共產黨領導的第一次安源煤礦大罷工。在罷工中，經陳昌仁、胡多謀介紹，許建國加入了中國社會主義青年團，同年轉為中共黨員。翌年3月，他又投身於路礦兩局工會為聲援京漢鐵路大罷工而發起的第二次安源煤礦大罷工。1925年秋，許建國又參加了安源路礦工會為要求發放欠薪而組織的第三次大罷工。罷工失敗後，工會組織被破壞，工會主要幹部先後被捕、犧牲。黨組織通知已暴露身份的同志撤離安源，許建國被派往設在湖南醴陵的安源總工會辦事處報到，然後前往長沙工會待機就業。
1925年，北伐戰爭開始。中國共產黨領導的工人運動、農民運動如火如荼。許建國同另幾位工會幹部一起，由中共湖南特委派往湘潭組建產業工會，發展黨的組織。他擔任過湘潭縣南區聯合工會委員長，縣工會委員兼糾察部部長。
1926年冬，許建國被派往長沙總工會糾察隊訓練班集訓。四個月後，回到湘潭擔任工人糾察隊隊長，領導四個武裝糾察分隊，配合農會打擊土豪劣紳。1927年春，許建國領導民眾清算了當地罪惡昭彰的劣紳晏容秋，工農民眾為之揚眉吐氣。
1927年4月12日，蔣介石在上海發動“四·一二”反革命政變。同年5月，湖南長沙發生了“馬日事變”。國民革命軍何鍵部三十五師反動軍官許克祥率部進攻湘潭，形勢急轉直下，中共黨組織決定緊急疏散。許建國在轉移途中與組織失掉聯繫。在嚴酷的白色恐怖下，他冒著生命危險，先後潛往長沙、武漢等地尋找中共組織。
1928年4月，許建國來到武昌粵漢鐵路局機務段，一面做工，一面找黨。1929年7月被許建國叛徒出賣，在武昌被國民政府湖南省清鄉司令部偵緝隊逮捕後押往長沙。國民政府法院以“暴徒騷事，危害民國”罪，判處許建國有期徒刑七年，關進長沙陸軍監獄。在獄中，他很快找到了獄中中共支部，在支部書記唐近仁領導下，與同獄的陳奉石、馬穆賓、樂天宇、向仲華等一起，進行了團結教育同監難友、要求改善生活待遇以及策劃越獄等不屈不撓的鬥爭。
參加紅軍
1930年7月下旬，紅三軍團一舉攻克長沙，許建國和所有在押的同志被解救出獄，加入了紅軍，許建國被分配到紅三軍團一師三團任副官長兼任團保衛員。此後不久，部隊根據中共中央指示開展對所謂AB團的鬥爭，許建國被誣為AB團分子，準備逮捕處置，幸虧團政委江華出面力保，他才幸免於難。1932年，許建國被提升為三團參謀長和代理團長，第三次反“圍剿”後又被任命為三團特派員。他曉勇善戰，機警靈活，槍法很準，多次出色地完成了艱險的保衛任務。
![許建國[中共情報人員]](/img/7/243/wZwpmL4IzMxMTN2UzN1kTO0UTMyITNykTO0EDMwAjMwUzL1czL4IzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
許建國[中共情報人員]在三軍團攻打贛州時，許建國負責三團留守處的保衛工作。一天拂曉前，他外出巡查，突然發現駐地被敵人包圍。他雙手操槍，打倒了幾個敵人後，迅速趕回留守處，把一師政委黃克誠和前來聯絡的六師參謀長唐近仁等叫出來，由他在前面開路，冒著槍林彈雨，衝出了敵人的包圍。
此後，部隊進行了整編，許建國被調任紅三軍團一師特派員，負責全師的保衛工作。第四次反“圍剿”時，他擔任紅三軍團政治保衛分局偵察部部長。1934年8月，紅軍整編後成立了八軍團，周昆為軍團長，黃旭為政治委員，羅榮桓為政治部主任，耿飈為參謀長，許建國被任命為八軍團黨委常委、政治保衛分局局長。
1934年10月，許建國參加長征。紅軍進入貴州後，撤消了八軍團建制，他被調往國家保衛局，負責保衛中央的年老同志。在艱難困苦的長征路上，很多年老或生病的同志掉隊了，他負責收容他們，任收容隊副隊長。董必武、徐特立、謝覺哉等就是在他悉心護衛下安全到達遵義的。
1935年4月，許建國調任紅三軍團政治保衛分局局長。同年6月，一、四方面軍在川北懋功地區會師後，中共中央政治局先後在兩河口、沙富和毛兒蓋召開會議，討論紅軍的戰略問題，批評張國燾的錯誤主張。許建國奉三軍團代政委李富春的命令，帶一個手槍隊擔任會議警衛，圓滿完成了確保中共中央、中央軍委和毛澤東安全的光榮任務。
1935年9月，紅軍右路軍組成陝甘支隊繼續北上，許建國任陝甘支隊第二縱隊政治保衛分局偵察科科長，不久調任第一縱隊政治保衛分局局長。10月，紅軍長徵到達陝北後，恢復紅一方面軍，以原第二縱隊為基礎組成紅一軍團第四師，許建國調任第四師特派員。
紅大一期一科留延安同學合影，許建國（後排左六）1936年2月，許建國調任紅一軍團保衛局長，隨紅一軍團渡河東征。東徵結束後，1936年6月，許建國與林彪、羅榮桓、譚政、劉亞樓、蘇振華、張愛萍、羅瑞卿、張純清（張文彬）、張樹才等（見照片：紅大一期一科留延安同學合影。後排左六許建國）一起，被調到保全紅軍大學學習，並擔任中共紅大一科支部書記。
1936年12月12日，發生了震驚中外的“西安事變”。16日，許建國離開紅大，作為中共代表團的工作人員，跟隨周恩來副主席抵西安。為了便於工作，周恩來給他改名杜智文，應邀擔任張學良將軍所部警衛團的秘書長兼軍警督察處三科上校科長。在極端複雜的政治局面下，許建國協助友軍在清查特務間諜，維護社會治安，鞏固友軍部隊等方面做了大量工作，並完成了保衛中共代表團的使命。
1937年2月，中共代表團撤離西安，代表團的工作人員中，童小鵬、龍飛虎等隨周恩來返回延安，其餘人員由許建國率領前往陝西三原縣籌建第十八集團軍駐雲陽辦事處，並任辦事處主任，負責抗日民族統一戰線的聯絡任務和情報、保衛工作。同年5月，許建國被調回延安，後擔任陝甘寧邊區政府保衛處副處長。
1938年初，任中共中央保衛委員會委員。同年，中央成立了中央保衛部，許建國任部長。
1938年10月，毛澤東在中共中央擴大的六屆六中全會上所作的《論新階段》的政治報告中，對除奸工作的重要性和除奸工作的方針、政策、方法，也作了重要論述。許建國在會上作了題為《關於部隊、地方、白區的保衛工作和情報工作》的發言。
1939年2月18日，中共中央書記處作出《關於成立社會部的決定》，同時建立中共中央社會部，康生任部長，李克農、許建國任副部長。這一時期，許建國倡導和舉辦情報保衛幹部訓練班，親自講授黨派知識、幫會、黑社會情況等課程。學員以後都成為各根據地公安保衛和情報工作的骨幹，在中央社會部保衛部的指導下，破獲了一批重大案件，破獲了國民黨特務機關設在邊區的秘密電台和進行各種破壞活動的特務間諜，為保衛抗日根據地做出了貢獻。
保衛華北
1939年3月，中共中央派許建國（在此之前，他一直叫杜理卿。這次到華北，改稱化名許建國，並一直沿用下來）率領中央社會部考察組到華北敵後考察。考察組由蘇毅然、陳叔亮、史光、張友恆、孫文東、蘇育民、張季良、鄭大堃、楊寧、江濤、王志祥、伍彤、任遠等13位青年幹部組成。他們由延安過晉西北停留後輾轉到達晉察冀邊區，傳達中央成立社會部的指示精神。同時，也審查晉察冀邊區的積案。
抗戰初期被譽為模範敵後抗日根據地的晉察冀邊區，戰略地位十分重要。侵華日軍除集中兵力頻繁進行軍事“掃蕩”外，還秘密派遣特務打入邊區，偽裝抗日，進行破壞活動。國民黨特務組織也從平、津等地向邊區滲透。當時，八路軍和地方的除奸保衛工作比較薄弱，存在不少問題，既有麻痹輕敵現象，也有敵、我、友區別不清，打擊面大的“左”的傾向。許建國同志帶領的考察組一到晉察冀分局，就組織專門班子，對晉察冀軍分區辦理的“李曉初托派案“、“熊大正國特案”等進行處理。當時，由於情況複雜，加之刑訊逼供的現象普遍存在，這些案件涉及的人員有幾百人，甚至有不斷擴大之勢。案件涉及的人員，除了有從敵占區來的以外，還有不少邊區的軍、地幹部，其中有不少知識分子，如張珍（解放後曾任化工部副部長）、藏伯平（解放後在中國文聯工作）、李志民（解放後曾任軍事科學院副院長）等。因此，考察組在許建國的領導下，深入調查，了解情況，認真分析辨別，進行了全面的複查，特別是糾正了刑訊逼供的錯誤做法，對一些被審查的幹部進行了多次談話、複查，作出了正確的結論。經北方分局審批，平反了冤假錯案，釋放了錯捕的同志，挽救了大批幹部。
1939年6月，根據彭真和聶榮臻同志的請求，中央決定將許建國和考察組全體幹部留下來，建立中共中央北方分局（中共中央晉察冀分局）社會部，許建國任部長。又從其他部門抽調了一些幹部到社會部工作。社會部成立後，立即組織幹部到各分區進行社會調查，深入研究邊區的敵情和社會情況；同時，抽調縣級以上幹部，分期舉辦訓練班，為建立各級公安保衛和情報工作機構，開展邊區的公安保衛工作和情報工作打下了基礎。
1942年，晉察冀邊區政府建立公安管理處，許建國兼任處長和邊區政府黨團書記。
許建國領導的晉察冀分局社會部在加強邊區公安保衛工作的同時，遵循中共中央的戰略部署，著眼全局，以根據地為基點，陳叔亮、史光、楊寧等把數百名情報工作人員派往平、津和敵後其他城市以及各個戰略地區，建立情報聯絡點線，組織和聯絡當地的秘密黨員、進步青年、抗日愛國人士等，滲透到敵人的軍、政、警、特內部，形成一支數以千計的地下尖兵，獲取了大量的戰略戰術情報，為晉察冀中央分局，晉察冀軍區領導機關制定反“掃蕩”計畫、領導反“掃蕩”鬥爭，提供了重要依據。
許建國在擔任中共中央晉察冀分局社會部部長期間，還兼任中央情報部晉察冀第一分局局長。他以主要力量積極開闢華北地區以平、津為中心的各大城市的情報工作，同時負責開展東北偽滿地區的城市情報工作。根據中共中央部署，他還向華中、華南及海外建立了地下情報組織。在日偽的軍、政、警、憲、特務組織內部埋下的紅色種子，大都出色地完成了任務。
九一八事變爆發後，東北留日學生中的一批愛國青年，秘密組織東京反帝大同盟、東北留日學生救亡會等革命團體，積極地從事抗日活動。1935年後，這些團體的一些領導骨幹回國同中共取得聯繫，把工作重點轉向情報工作。這些留日革命青年大多是偽滿中上層人士的子弟，其中包括偽“滿洲國”總理大臣的子侄。他們回國後先後擔任了偽滿軍政要職，具有從事情報工作的有利條件。但由於與內地交通聯絡不便，工作發展受到限制。在幹部政策上一向不囿於教條主義的許建國，十分重視這支可貴的力量，曾派原在天津華北聯絡局工作的謝普生重返天津整頓東北地區工作。1943年又派李振遠、周梅影前往瀋陽，主持東北的情報工作。1943年底，還派張友恆赴東北進行了短期的視察。東北情報組織在極端困難的條件下，獲取了大量的戰略、戰術情報，包括日本關東軍在東北的戰略部署，偽滿陸、海、空軍的編制、兵力、武器裝備、軍事部署、訓練和作戰能力以及軍、警、特聯防和鎮壓東北抗日游擊隊的措施等大量情報。東北情報工作局面打開後，毛澤東高興地說：“東北並非鐵板一塊，國防線（指偽滿界）是可以突破的，偽滿工作大有可為。”
抗日戰爭時期，平、津、滬等大城市的情報組織還團結民族工商業者、醫生、教授、海外僑胞等愛國志士，有組織地向抗日根據地輸送人才，向海內外募集款項、購買醫藥、通訊器材等重要物資，有力地支援了抗日武裝鬥爭。太平洋戰爭爆發後，許建國為貫徹國際反法西斯統一戰線的方針，還組織力量，把滯留在北平的國際友人護送到抗日根據地。
屢建奇功
國共內戰時期，許建國歷任中共晉察冀中央局和中共中央華北局常委、社會部長，華北人民政府公安部長等職。他根據國內形勢和敵情的變化，除加強解放區的公安保衛工作外，繼續採取多種形式，以大中城市為重點，加強派遣工作。
1947年10月，北平、石家莊情報組同時獲悉蔣介石密令其第三軍由石家莊撤守保定的情報，通過秘密電台迅速報告了軍區司令部。晉察冀野戰軍根據這些準確情報，發起了著名的清風店戰役，取得了全殲中國國民黨第三軍軍部及第七師全部、俘虜敵軍長羅歷戎、斃傷俘敵軍官兵17000人的勝利。接著，又根據各地情報組織提供的情報，抓住戰機一舉攻克石家莊，使晉察冀和晉冀魯豫兩大解放區連成一片，打開了華北戰場的新局面。
1948年秋，國民革命軍九十四軍三個師，新二軍兩個師，由空軍配合企圖偷襲石家莊和中共中央所在地平山縣西柏坡。內線情報人員及時掌握了敵軍的作戰命令，但因電台發生故障，情報無法送出。為了保衛中共中央的安全，地下交通員將敵作戰命令原文背熟，日夜兼程將情報送達解放區。許建國將這一重要情報報告聶榮臻司令員後，聶榮臻火速命令西線部隊一晝夜奔襲幾百里，迎擊敵軍。與此同時，毛澤東和周恩來採用緩兵之計，親自撰寫新聞稿，由新華廣播電台播出，揭露敵人的陰謀，從而延緩和挫敗了敵軍的行動。
事後，中國國民黨天津警備區司令陳長捷驚嘆“中共地下工作組織深入、機敏和細緻，達到了神化莫測的地步。”
聶榮臻則盛讚我們的情報組織“抵得上十萬兵馬”。 許建國是我國保衛和情報工作的卓越領導人之一，也是城市公安工作的奠基人。1945年8月，八路軍從日偽手中解放了第一座城市張家口。當時社會秩序十分混亂，兼任公安局長的許建國緊緊依靠人民民眾的支持，積極組建各級人民公安機關和民眾性的基層治安組織，進行偽職人員登記，開展戶口調查，加強偵破工作，嚴厲打擊敵特和刑事犯罪分子的破壞活動，很快穩定了社會秩序，並且制定了治安、戶口、交通等管理條例，摸索出一條適合城市社會治安管理的組織體制和工作方法。對此，許建國在中央通報的《怎樣管理城市》的報告中曾詳細地進行了總結，為城市公安工作提供了經驗。
1947年秋，許建國在河北阜平舉辦了縣以上及一般幹部兩個培訓班，親自講授城市治安管理和國民黨警察、特務機關的有關知識，為籌建城市公安機關打下了堅實的組織基礎。解放石家莊後，社會部先後派陳叔亮、王應慈、張季良率領一批訓練有素的幹警隨軍入城，接管警察局。他們在許建國的具體指導下迅速建立起市、區及派出所三級公安機構，在維護社會治安秩序，偵破特務間諜，審查清理戰俘，搜尋殘餘敵特人員等方面，取得了很大的成績。在公開工作和秘密工作兩個方面都進一步積累了經驗，培養了一大批幹部，為以後解放天津、北平等大城市，開展公安保衛工作提供了寶貴的經驗。
長期主持中共晉察冀中央分局、晉察冀中央局工作的劉瀾濤說：“許建國是個敢于堅持真理的人，他不隨風倒，不看人臉色行事。這對於擔負特殊任務的領導幹部來說，是非常重要的。”
接管天津
北平和天津是華北地區兩大名城。接管這兩座城市，是一件很複雜很繁重的工作。接管工作做得如何，對國內外影響很大。所以，中共中央和毛澤東對此極為重視，為接管北平和天津進行了一系列籌劃。毛澤東在西柏坡組織平津戰役的時候，就已經在考慮北京和天津的接管問題了。
1948年11月8日，毛澤東致涵劉少奇、朱德、周恩來、任弼時、彭真說：“北平、天津、唐山、張家口解放在即，即須準備接管幹部及黨政機關的配備，務於一個月至多一個半月內準備完畢。”毛澤東在信中還明確提出：“平、津、張三城當然要華北局負責準備。”
12月13日，毛澤東為中共中央軍委起草致聶榮臻、薄一波、葉劍英、黃敬並告林彪、羅榮桓、劉亞樓及黃克誠電，指示：“榮臻、彭真、劍英、黃敬應時刻準備率領接收人員及工作幹部乘車出發馳赴平、津。”
毛澤東強調：“此次接收平、津影響中外，你們務必辦到如同瀋陽、濟南那樣的接收及管理成績，不要落在瀋陽、濟南之後。”
同一天，毛澤東為中共中央軍委起草了致林彪、羅榮桓、劉亞樓、程子華、黃志勇並告聶榮臻、薄一波電，任命“聶榮臻為衛戍司令，薄一波為政委，彭真為北平市委書記，葉劍英為市委副書記、北平軍管會主任兼市長，黃克誠為天津市委書記兼軍管會主任，黃敬為天津市長。”
這樣，接收北平和天津兩個城市的領導班子便基本上確定了下來。為了指導平、津兩市接管工作的進行，中共中央從1948年12月30日至1949年1月21日先後發出了《關於平、津兩市區貨幣問題的決定》、《關於新解放城市職工薪資問題的指示》、《關於接收官僚資本企業的指示》、《關於接管天津司法機關之建議》等一系列檔案。在中共中央、毛澤東的部署領導下，平津接管工作有序地展開了。
根據中共中央的指示，華北局城工部以很大的精力投入幹部的準備工作。城工部責成平、津地下黨組織領導機關，負責動員組織一些人，由城工部審查後，分別送往設在平山縣的華北局黨校和設在正定的華北大學等單位去接收訓練。
12月中旬，根據華北局的指示，城工部的機關工作人員，六成被派往北平，四成被派往天津，參加平、津兩市的接管工作。12月15日凌晨，去北平的由劉仁帶隊，前往保定集中待命；去天津的由楊英、於致遠帶隊，到天津以西的勝芳鎮集中待命。勝芳，屬河北省霸縣，是天津以西約40公里的一個重鎮。地處北平、天津、保定三角地帶。到這裡集中的接管幹部大都來自華北黨校、華北聯大、冀中黨校、渤海軍區、中央團校以及晉察冀、晉冀魯豫、冀察熱遼等地城工系統的幹部。
時任華北局社會部長的許建國被中央指定參加天津的接管工作。他於1948年11月就由石家莊前往勝芳進行社會調查，為接管天津進行準備。
1948年12月15日，中共中央復電華北局，任命黃克誠、黃敬、黃火青、許建國、張友漁、黃松齡、吳硯農、丘金、楊英等人為天津市委委員，黃克誠為書記，黃敬為第一副書記，黃火青為第二副書記；黃克誠、黃敬為天津市軍管會正副主任；黃敬為天津市人民政府市長，張友漁為副市長。
1949年1月15日天津解放，許建國擔任中共中央政法委員會委員、中共天津市委常委、天津市副市長兼公安局局長。
天津戰役剛結束，他便帶領幹部進入市區，按照預定的計畫接管國民黨機關，搜捕戰犯、特務，恢復社會秩序。原國民黨天津市警察局長李漢元是軍統分子，在天津解放前夕，我地下黨組織通過關係，先做了他的工作。所以天津解放後，他沒有逃跑，也沒有進行頑抗，而是下令全部警察系統堅守崗位，要保護好全部檔案、資料和物資等，做好向解放軍移交的一切準備。接管幹部一到市警察局，他便立即做了交代和移交。
入城後的第三天，許建國召集舊警察局全體人員，宣傳中共政策，宣布接管辦法。到1月21日，搜捕戰犯、特務的工作即已基本完成，社會秩序恢復正常。
天津市人民公安機關建立以後，許建國強調指出：“公安部門的一系列工作都應該首先研究國家的性質和內容。無產階級專政下的公安工作是依靠大多數人來統治和懲罰少數人的，這與反動階級的警察迥然不同。”他要求公安保衛人員要全心全意為人民服務，嚴格區分敵我界限。他把高度的責任心、堅定的階級立場、熟悉業務、服從命令、執行政策、經常與民眾聯繫這六項要求規定為公安保衛人員必須具有的品質。他的建警、治警思想在天津公安隊伍的思想、組織建設方面收到了良好的效果。
調任上海
1952年1月，許建國調上海工作，被任命為華東軍政委員會公安部部長兼上海市公安局局長，中共中央華東局常委、社會部部長、中共上海市委常委、上海警備區政委。為了讓我安心學習，許建國決定先不搬家，將孩子留在天津交給保姆照顧，只帶秘書到上海赴任。 1955年大區撤消後，國務院任命許建國為中央公安部副部長，分管上海市的公安工作和宋慶齡等國家領導人在滬時的警衛安全工作。還兼任上海警備區副司令員。1956年任中共上海市委書記處書記、副市長，分管政法、黨群、外事等工作。
在上海工作期間，許建國十分重視幹部和人民警察的政治素質，要求搞好警風和警民關係。上海解放後留用了大量舊警人員，未及時進行嚴格審查。1952年夏，他領導開展了整頓組織和警風的工作，對犯有利用職權敲詐勒索、包庇犯罪分子、腐化墮落、侮辱婦女等“六害”的人員進行集中清理，純潔了組織。在此基礎上，於同年7月建立了各級政治工作機構，從而大大提高了人民公安機關在民眾中的政治信譽，進一步密切了警民關係。同年冬，在全國第五次公安工作會議上討論和通過《關於建設公安部門政治工作的決議》時，上海的措施得到了肯定。
上海經過三期鎮反和工廠企業的民主改革等運動，肅反鬥爭取得了很大成效；在與帝國主義和國民黨特務間諜的鬥爭中也取得了很大成績，積累了豐富的經驗。許建國在1954年12月上海第三次公安工作會議上作了題為《五年來的工作檢查與貫徹第六次全國公安會議的方案》的報告，指出“敵情已經發生了重大變化，肅反鬥爭已進入隱蔽、複雜的新時期。今後的方針是加強隊伍建設與隱蔽鬥爭，保障第一個五年計畫的順利進行”。
翌年6月，在全國公安廳局長會議上，公安部長羅瑞卿傳達了毛澤東關於再給暗藏的反革命分子幾次打擊的指示後，《人民日報》發表了“肅清一切暗藏的反革命分子”的社論。上海在布置集中搜捕城鄉反革命的同時，又開始了內部肅反。許建國在貫徹執行中央的指示中，十分重視嚴格依法辦事，力求把保護人民的合法權益和穩、準、狠地打擊犯罪分子結合起來。他在幹部中反覆強調“要做到防錯防漏，不枉不縱”；“政法幹部手中握有生殺予奪之權，決不允許草率辦案”。
出使東歐
1958年下半年，根據陳毅同志的建議，中央決定調許建國到外交部工作。這一年夏天，在首都一次舞會上，毛澤東對許建國說：“杜理卿，外交戰線要加強，你出國當幾年大使好不好？”
許建國於1939年到晉察冀邊區工作時改為現名，但毛澤東每次見到他時仍然親切地呼其原名。許建國回答：“主席知道，我一向是搞公安保衛工作的，乾外交是外行啊！”
毛澤東說：“外行可以變內行嘛，外交工作就是需要老同志去加強。”
許建國服從組織決定，愉快地準備迎接新任務。這一年初冬，他由上海到中央報到後，先隨中共中央總書記鄧小平到濟南巡視工作。1959年春，又到四川、雲南、廣東等省參觀，返京後於5月出任中國駐羅馬尼亞大使。 當時中蘇兩黨關係日趨緊張。1960年在布加勒斯特召開的世界共產黨、工人黨首腦會議上，以蘇聯為首的一些黨的代表團，以突然襲擊的方式向中國共產黨發起了攻擊。以彭真為團長、伍修權、許建國為副團長的中共代表團進行了嚴正的反擊。此後，許建國以辯證唯物主義觀點，對羅馬尼亞的形勢及現狀進行了認真的調查研究，並向中共中央和毛澤東寫了報告。他提出的應當區別對待東歐各國的建議，得到了毛澤東的肯定和周恩來的稱讚。
許建國一到使館，就親自帶領使館的同志對羅馬尼亞的政治、經濟等情況進行深入了解。許建國一貫重視調查研究，他常說，不掌握第一手材料，就不可能知己知彼，就不可能有針對性地把工作做好。為能適應外事工作的需要，他還要求使館的工作人員，不論是做什麼工作的都要學習外語，並規定了學習時間，自己也身體力行，帶頭學習。他說，學會外語不只工作方便，而且只要你說一句駐在國的本國語言，就可以拉近兩國之間的距離，更便於交流、合作。
1964年4月，許建國駐羅期滿回國，參加了周恩來在四川召集的駐外使節會議。會議期間，周恩來找他談話，要他出任駐阿爾巴尼亞大使。他對周恩來說：“只要是黨的需要，不管是大國還是小國，我都可以去。”
1965年8月，許建國赴地拉那上任。在阿爾巴尼亞的十個月內，他走遍了這個國家的城市村鎮，深入實際，接觸民眾，就連這個國家北部最偏僻、條件最差、生活最艱苦、交通最不便利的山村，也留下了他的足跡。
在出任羅馬尼亞、阿爾巴尼亞大使期間，許建國十分注意把使館建成互相關心，互相愛護，團結戰鬥的集體。大家雖然遠離祖國和親人，但在使館中同樣感受到了“家庭”的溫暖。一位曾在駐阿使館工作過的同志回憶說：“全館60多人組成了一個和睦友愛的大家庭，無論在工作中還是在生活上，來自祖國四面八方、各個部門的同志不分彼此，情同手足。一旦有重大的活動或工作任務，全館統一安排，相互支持，團結合作，給人留下了溫暖、親切的美好記憶。”
文革蒙冤
1966年5月，許建國陪同阿爾巴尼亞部長會議主席謝胡到中國進行訪問後，就留在國內參加“文化大革命”。由此被捲入這場史無前例的浩劫之中。
1967年春，就在首都外交口鬧騰著奪權，陳毅副總理處於困難的時候，許建國被周恩來叫到北京飯店，查詢他在上海工作期間由羅瑞卿部長交辦的關於調查江青30年代歷史問題的一封匿名信的處理情況。許據實以告，並說問題沒有查清他就調離上海，結果如何他不知道。在場的張春橋狂妄地責問：“這件事我怎么不曉得？”
許建國說：“你當時是市委宣傳部的一個副部長，不該你知道的事情多了。”
張春橋瞠目結舌，無言以對。
1967年底，江青在天津接見造反派時，點了許建國的名。此後，造反派幾次來抄家，索要材料。許建國很快被外交部造反派“隔離審查”。被關在北京郊區的秦城監獄。 1975年鄧小平主持中共中央日常工作，大批受迫害的老幹部處境有所改善。這一年的5月，被關在秦城監獄7年、年逾七旬的許建國被送往安徽六安“養起來”。由於長期的單獨關押和摧殘，他出獄時已身心憔悴，面容枯槁，行動都不那么正常了。
1977年初，許建國患了肺癌，同年10月4日病逝於安徽省合肥市，終年74歲。他在臨終前寫給中共中央的申訴書中曾發出這樣的呼喊：“歷史將宣判我無罪！”這呼喊，表達了他對林彪、江青反革命集團的無比憤懣，也表達了他對真理必將戰勝邪惡、歷史的車輪決不會倒轉的堅強信念。
平反昭雪
中共十一屆三中全會以後，撥亂反正的春風吹遍大地。1980年3月，中共中央為許建國平反昭雪。公安部、外交部聯合在北京中山公園中山紀念堂為許建國舉行追悼會。鄧小平、葉劍英、李先念、陳雲、胡耀邦、宋慶齡、徐向前、聶榮臻、彭真、鄧穎超、王震、烏蘭夫等中央領導同志獻了花圈，李先念等同志參加了追悼會。時任公安部部長趙蒼璧致悼詞。追悼會後，許建國的骨灰被安放在八寶山革命公墓骨灰堂。
