小山出身地方門閥士族，父親曾任議員。十六歲肄業於慶應義塾，翌年因病休學，後成為激進主義者，加入日本右翼團體“神刀館”。1894年中日甲午戰爭，清朝戰敗，派遣全權大臣直隸總督兼北洋大臣李鴻章赴日媾和。小山為了使戰爭繼續，又加上對中國人的不滿，在1895年3月24日刺殺乘轎出行的李鴻章，槍擊其左臉，但是未傷及李鴻章性命。李鴻章受傷，國際譁然。
日本首相伊藤博文為了避免列強出面干涉，同意停戰（在之前中日雙方進行的三輪談判中，李鴻章要求日本停戰，但日本提出了占領天津等地等四項極為苛刻的停戰條件，迫使李鴻章撤回停戰要求）。李鴻章也成為第一個使用X光觀察傷勢的中國人。
事後，法院判處小山無期徒刑，禁錮於北海道網走郡。1907年奉敕恩準假釋。
