梁平老聰明機敏,做事嚴正認真。前秦宗室苻堅當時以其有王佐之才,於是傾心向其結交。壽光元年(355年)苻生繼位為帝,以梁平老為特進、領御史中丞。不過苻生酗酒嚴重而怠政,又常常生殺大臣 ,梁平老於是建議當時頗有眾望的苻堅趁早取而代之,並得苻堅認同。壽光三年(357年),苻堅與其兄苻法發動政變廢殺苻生,自稱天王,以梁平老為尚書右僕射。
甘露元年(359年),苻堅以梁平老為使持節、都督北蕃諸軍事、鎮北大將軍,戍朔方以西,守護北土以防禦匈奴、鮮卑族的侵擾。不久再加開府儀同三司、封朔方侯。至建元八年(372年)梁平老在任內去世時已駐鎮了北方十三年,當地鮮卑及匈奴人即敬憚亦愛戴他,安鎮北方。苻堅謚其為桓侯。
子梁成,官至衛軍將軍,淝水之戰時率軍駐鎮洛澗,在與晉將劉牢之的對戰中陣亡。