早年
玉井於1866年生於周防國光井村（今山口縣光市）的一個釀造“銘酒玉川”這種酒的釀酒店家庭中。他在就讀于山口黑城塾，廣島縣中學校（今廣島縣立廣島國泰寺高等學校）後，前往東京的獨逸學協會學校（今獨協中學校暨高等學校）就讀。同時，他住進了從小時候就把他當作哥哥一般仰慕的遠房親戚原田貞介的家中，在那裡學他會了一些基本的德語。
個人學習
1882年（明治15年），16歲的玉井進入了東京帝國大學（今東京大學）醫學院預科就讀，是當時最年輕的學生。在那裡，可能是因為天生的氣質的緣故，在同學間人緣不錯，在他住的地方常常舉行聚會，包括了南方熊楠等人都曾進出他所住的地方。但是，由於過著這種生活，使玉井的交際費不斷增加，最後付不出預科的學費，在一年後被摘除學籍。然而玉井仍然繼續到預科去上課，就連教授也默許。這或許是因為玉井的德語程度優秀，加上當時這樣“潛入”的學生也不在少數的緣故。
結婚
1884年（明治17年），玉井與比自己小四歲的兒時玩伴原田悅結婚。1886年（明治19年），受到原田貞介自東京帝國大學中輟前往德國留學的刺激，玉井也開始認真地考慮前往德國一事。為了要籌措留學的資金，他和西野文太郎等人協力，開設了一間以學習德語為中心的私塾“東京速成學館”。由於當時社會相當流行學習德語，加上玉井的德語能力相當優異，收到了很多學生，得到了一定的成功。但在此同時，玉井對是否該繼續走醫學之路感到了疑惑，遂改進入第一高等學校德國法律科就讀。
1888年（明治21年）4月，在預科指導教授及畢業生的推薦下，玉井前往札幌農學校（今北海道大學）擔任德語教授一職，關閉了東京速成學館，前往札幌。在札幌農學校，他與同事新渡戶稻造、松村松年、高岡熊雄（之後擔任北海道大學校長）、大島金太郎（之後擔任日本農藝化學會會長）等人交好，但由於玉井夢想著“晴耕雨讀”的生活，而於1891年（明治24年）3月辭職，在札幌近郊開始耕作，卻以失敗收場。以此為契機，玉井終於下定前往德國的決心。1892年（明治25年）11月17日，玉井將妻子託付給原田本家，一個人離開了日本。
橫貫西伯利亞
玉井由下關離開日本，經由釜山，前往俄羅斯的海參崴。他之所以沒有直接前往德國，一方面是由於他是以“學習日俄貿易相關事務”作為出國的理由，另一方面是因為他並沒有直接前往德國所需的費用，所以想要一邊在途中賺取旅費，一邊穿越西伯利亞。有些文獻將玉井前往俄羅斯的這次旅行稱為“偷偷入境”，但玉井的護照現在依然被保存著，因此此說並不正確。在海參崴，由於意外遭到冤獄以及工作賺取旅費，他滯留了大約六個月的期間。
1893年（明治26年）5月31日，由於已經賺到足夠的旅費，玉井離開海參崴，由伯力乘坐蒸氣船順黑龍江逆流而上，前往海蘭泡。在海蘭泡為了賺取旅費而停留工作大約三個星期後，他再度出發，順著斯雷坦斯克（Сре́тенск）、赤塔、烏蘭烏德、伊爾庫茨克往西前進。在這段旅程中的陸路部分，他大部分都與運送茶葉的商旅同行（當時俄羅斯是世界第二大茶葉輸入國，大部分的茶葉都從中國（清朝）經由西伯利亞輸入）。
在終於抵達伊爾庫茨克後，玉井卻陷入了危機。在海蘭泡賺到的旅行資金已經幾乎用鑿，且由於不習慣當地飲食而罹患下痢，加上因長時間搭乘馬車行走路況不佳的道路而得到嚴重的痔瘡，痛到甚至無法睡覺。但是在伊爾庫茨克，玉井巧遇以前在東京速成學館的學生椎名保之助，椎名是為了就讀神學院而單獨來到俄羅斯。在椎名的協助之下，停留大約三個月後，玉井再度出發。
自伊爾庫茨克到托木斯克的旅程，玉井再度與茶葉商旅同行，但由於當時氣候嚴寒，旅行條件十分嚴苛。氣溫時常在零下40度左右，穿著的毛皮大衣也結了冰變得像板子一般。商旅為了要儘快將茶葉運到目的地，而把玉井拋下自己離去的事情也發生過好幾次，玉井被迫在嚴寒的天氣中追趕隊伍。此外，也有遇到盜賊的紀錄。經過了大約三十天，玉井抵達了托木斯克，由於得到了托木斯克大學及當地報社《西伯利亞通知》的人的幫助，在此之後的行程可以搭乘火車，進行得十分順暢。玉井於1894年（明治27年）2月26日、抵達了當初的目的地柏林，從他離開日本算起已經經過了467天。
德國生活及死去
到達德國的玉井，在漢堡及柏林的舶來品店工作，在此同時也注意到德國人對亞洲的知識及想法有著許多誤解。於是，以甲午戰爭的爆發為契機，他開始投稿有關日本及中國等亞洲國家的文章到德國當地報紙上，也將在德國所聽聞的對日本言論的相關報導送到日本的報社。就這樣，玉井開始走上了記者這條路。另外，在1898年（明治21年），他寫下了《西伯利亞征服紀行》（德語：KARAWANEN REISE IN SIBIRIEN）一書，作為他橫貫西伯利亞旅行的紀錄，其中著墨最多的是他在伊爾庫茨克到托木斯克的這段艱苦旅程。
發行刊物
同年三月，玉井發行了月刊《東亞》（德語：Ost-Asien）。這是第一次有日本人在德國發行雜誌。《東亞》雜誌自許為“日德貿易的大機構”，除了刊載以日本為中心、關於東亞情勢的報導之外，也刊登包括日本貿易相關法律的德語翻譯、旅居歐洲的日本人的通訊錄、由歐洲前往東亞的船隻時刻表等促進貿易暢通的情報。除此之外，雜誌社也代替德國企業到日本取得專利權。《東亞》雜誌的發行量大約在5000本上下，其中約有三成銷往日本，因此日本和德國雙方的企業也在此雜誌上刊登了許多廣告。曾在《東亞》上刊登廣告的企業，包括施德樓文具、高島屋、ヒゲタ醤油、日本郵船、橫濱正金銀行等等。《東亞》雜誌到1910年（明治43年）2月為止，總共發行了139期（在玉井身後由老川茂信接下主筆）。
當玉井繼續從事記者活動時，他的家也時常有人造訪，甚至有人說“旅居德國的日本人沒有沒去過玉井家的”，也因此，玉井得到了“私設大使”的名號。曾到過玉井家的人物，包括了新渡戶稻造、松村松年、高岡熊雄、大島金太郎等札幌農學校時代的同事，以及長岡外史、大岡育造、美濃部達吉、後藤新平、長岡半太郎、芳賀矢一、巌谷小波、鈴木貫太郎、川上音二郎、川上貞奴等人。
發生戰爭
1904年（明治37年），隨著日俄戰爭的開始，玉井開始在雜誌《東亞》上進行戰爭報導，也開始呼籲大眾幫助因戰爭而由西伯利亞逃出的難民及捐款給日本紅十字會。此外，玉井的妻子悅，證明了雖然並沒有留下官方紀錄，但玉井在此時與明石元二郎進行了接觸，有人推測他可能是從事情報收集工作，以協助明石的對俄工作。
得病去世
然而，在此時玉井染上了結核病，因而於1906年（明治39年）9月25日去世，享年40歳。在柏林和光市兩邊都有著他的墳墓。1924年（大正13年），他的胸像被置於柏林工商會議所前，然而之後在第二次世界大戰中被破壞了。1942年（昭和17年），玉井的西伯利亞橫貫旅行第一次被日本的媒體（大阪每日新聞）報導。1963年（昭和38年），玉井所寫的《西伯利亞征服紀行》一書首次被翻譯為日語，以《西伯利亞商隊紀行》（シベリア隊商紀行）為標題被收錄在築摩書房的《世界非小說類圖書全集 47》（世界ノンフィクション全集 47）中。
