司馬牛《史記·仲尼弟子列傳》提到過他,說他“多言而躁”。相傳為宋國大夫桓魋的弟弟。傳說他的哥哥桓魋,參與宋國叛亂,失敗後逃跑,司馬牛也被迫離宋逃亡到魯。故《論語》中有“司馬牛憂曰:‘人皆有兄弟,我獨亡(無)。’”言有兄猶無。而他的同學子夏則回答說:“四海之內,皆兄弟也。”