1881年，以鼓吹對外侵略為綱領的日本民間團體玄洋社成立。山崎羔三郎在福岡與玄洋社少壯派成員過從甚密，萌發“大陸經論”思想，加入該組織。1886年荒尾精受命於日本陸軍參謀本部，在中國建立間諜網路。荒尾精的“大亞洲主義”和侵華主張令山崎羔三郎服帖，在荒尾精感召下，進入中國攻讀漢語，並蓄髮留辮，進行間諜活動。1890年，他協助荒尾精籌建了間諜培訓機構日清貿易研究所，掌管該所總務。甲午戰爭爆發後，山崎羔三郎由上海到煙臺，潛伏於中國運兵船中，進入朝鮮。他喬裝混入牙山清軍陣地，竊取清軍情報提供給日軍，使進攻朝鮮的大島義昌順利攻陷成歡。日軍對平壤開始總攻後，由於指南針損壞，炮兵攻擊陷入困境。他向前來督戰的山縣有朋獻策，告訴日軍用“虱頭常指北而動”、“菜根北部纖維質密”等常識來判斷清軍所在方位，在日軍進攻平壤作戰中發揮作用。他的不凡表現在日軍司令部內引起轟動，也使玄洋社的頭目引以為榮。
1894年10月，日軍為確保在莊河花園口登入成功，在登入之前，派出山崎羔三郎、鍾崎三郎、藤崎秀、豬田正吉、大熊鵬、向野堅一等6人進行戰前偵察。當時，山崎羔三郎的身份是陸軍翻譯官。臨行前，日軍用水雷艇捕捉到一條中國漁船，把漁民的衣服剝下，供他們使用；日軍司令官大山岩還親自為他們送行。由於他們早已蓄髮，並擅長漢語，很容易就通過了清軍設定的關口，獲取了清軍在遼東半島的兵力部署情報。同年10月24日，他們隨侵華日軍第二軍在莊河花園口登入，山崎羔三郎的任務是赴旅順偵察。當時山崎羔三郎等人已經是清政府在案的通緝間諜，清軍預先將他們的照片四處張帖，懸賞捉拿。清軍為捉拿山崎羔三郎等人，還對金州頗嚴戒備，在各處均配備哨兵，無通行證者，一律捕捉。日軍在莊河花園口登入時，清軍駐貔子窩營官榮安已接到中國漁民的報告，榮安即派出馬隊，加強了海岸警戒。11月26日，山崎羔三郎在碧流河口被清軍巡邏兵捕獲。同一天，派住金州的鐘崎三郎和派往大連灣的藤崎秀均在碧流河一帶先後被捕捉。榮安將此3人一道押送金州副都統衙門。在審訊中，山崎羔三郎對自己此行的目的和以往的間諜活動供認不諱，審訊後被關押在金州廳衙監獄。至此，清軍得知日軍已經有萬餘人在莊河花園口登入，欲攻打金州、大連灣，從後路包抄旅順。金州副都統連順當即將捕獲間諜事上報盛京將軍裕祿，接到裕祿回函後，於10月31日夜將山崎羔三郎等3人在金州西門外刑場以間諜罪斬首。
1895年初，日軍查到山崎羔三郎等3人的下落，並找到遺骸，火化後埋入金州北山。同年2月9日，日軍在金州城外崔家屯一山丘上為山崎羔三郎等3人立石碑，並將此山丘命名為“三崎山”（因3人名中都有崎字）。
