山尾庸三生於長州藩，是山尾忠治郎的二子。1863年，經中國上海秘密航行去英國倫敦，與伊藤博文、井上勝、井上馨、遠藤謹助並稱為“長州五傑”，在倫敦大學學院（University College London，縮寫：UCL）學習近代科學技術，導師亞歷山大·威廉·威廉姆遜(Alexander William Williamson)。
山尾庸三後移居蘇格蘭格拉斯哥，半工半讀。1868年，山尾庸三回國，出掌工部，歷任工部大丞、工部少輔、大輔、工部卿和法制局長官。山尾庸三被稱為日本的“工業之父”。[1]
山尾庸三是今東京大學工學院的創建者，曾長期擔任日本工學會會長達36年。
