軍校學習
1905年，於秉信考入蔡愕在桂林創辦的廣西陸軍國小。1910年春，升入湖北第三陸軍中學。1911年10月，參加了著名的武昌起義。隨後回到家鄉梧州在軍政分府擔任軍械局委員。1913年1月赴保定軍校第一期學習 。
1914年底，於秉信於保定軍校畢業，分配到廣西陸軍第一師第一團見習。李畢業近兩年，未授實職，心中不滿。同年6月轉入湘軍，在湘軍獨立營任中尉排長。不久，該連編入督署衛隊營，營長唐生智是他保定軍校的同學。此後，於秉信緊緊追隨唐生智，在護法戰爭、湘直戰爭、護憲戰爭中屢建戰功。唐生智升遷一次，於秉信肩上就跟著多增加一顆星豆。到1924年，短短八個年頭，便從排、連、營、團長依次提升為旅長。
國內戰爭時期
1926年6月，唐生智就任國民革命軍第八軍軍長兼前敵總指揮，於秉信升為第八軍第三師師長。7月10日，李品仙率第三師主力和友軍一起克復長沙。在這期間，於秉信加入了中國國民黨。次年2月，第八軍擴編，於秉信升任該軍副軍長(唐生智兼軍長)，4月，升任軍長，率部留駐武漢，改為衛戍司令部，負責首都武漢三鎮的衛戍事宜。
唐生智所轄李品仙、何鍵部湘軍將領，大都出身於湖南地主豪紳階級，對工農民眾運動極端仇視。1927年6月27日，汪精衛向武漢衛戍司令部秘密下達“清共”的命令，7月15日公開提出“寧可枉殺千人，不可使一人漏網”的血腥口號。於秉信奉命立即指揮軍警人員分別出動搜捕共產黨員，查封中國共產黨機關，解散漢口總工會及農會，收繳湖北總工會糾察隊的武器，並將前蘇聯顧問集中看管準備遣送出境。於秉信縱容部下在武漢大批屠殺共產黨和工農民眾，製造白色恐怖 。
蔣中正、汪精衛先後反共後，寧漢之間矛盾並未解決。7月下旬，唐生智發動東征；寧方則命令李宗仁部西討。10月20日，南京政府下令討伐唐生智，免去其本兼各職。唐軍內部分化，腹背受敵。唐生智被迫通電下野，出亡日本。1928年2月，於秉信等唐生智舊部，迫於李宗仁、白崇禧新桂系重重包圍，通電錶示願意接受南京政府改編，投靠桂系。
寧漢戰爭戰火方息，奉系軍閥張作霖又發動了對閻錫山和馮玉祥的討伐。1928年2月，蔣、馮、閻、桂四派決定北上伐奉，將所部改編為四個集團軍。4月5日誓師北伐，由於秉信任第十二路軍總指揮兼第八軍軍長。
1929年3月底，蔣桂戰爭爆發。蔣中正重新起用唐生智，派其攜帶巨款赴唐山，爭取被新桂系改編的湘軍舊部。李品仙第十二路軍中下級軍官都是唐生智一手提拔起來的三湘子弟，在唐生智“脫離桂系，回湖南去”的號召下，立即欣然回響。於秉信等人發表通電，討伐白崇禧，擁護蔣中正，率部重新投效到唐生智麾下。唐將第十二路軍改編為第五路軍，自任總指揮，任命李品仙為副總指揮兼第八軍軍長。是年12月初，唐生智在鄭州呼應馮玉祥部石友三通電反蔣，被蔣中正、閻錫山的聯軍擊潰。第八軍被繳械，士兵亦被中央軍各部隊分別收容編散。此時於秉信已成無兵之將，只得遠走香港。
不久，中原大戰爆發。於秉信應李宗仁、白崇禧之邀，就任為湖南善後督辦，不到半月，桂軍兵敗。李品仙隨李宗仁、白崇禧退回廣西，擔任第四集團軍總部參謀長。1930年底，改任南寧軍官學校校長。1935年夏，擔任總部參謀長。
抗日戰爭時期
“七七事變”爆發後，於秉信下轄的第四十八軍參加了上海保衛戰。
1937年3月13日授予一級陸軍上將軍銜。11月升任第五戰區副司令長官仍兼第十一集團軍總司令，協助李宗仁、白崇禧進行徐州會戰的戰略部署。
1938年3～4月間，於秉信令第三十一軍在津浦路南段打擊日寇，將津浦路南段截成數段，圍殲孤立之敵。日寇在北進中已先後損失二千餘兵力、戰車百餘輛。由於於秉信在津浦路南段正面戰場，以防禦戰拖住了北上之日寇，延緩了日寇南北對進會攻徐州的計畫，從而為李宗仁集中第五戰區主力在魯南台兒莊地區圍殲日寇創造了有利條件，取得了殲滅日本華北方面精銳部隊礬谷、板垣主力一萬餘人的大捷。
日寇占領徐州後，又向武漢進攻。1938年6月下旬，於秉信被任命為第十一集團軍總司令，擔任大別山及其以南地帶的防守任務。1939年4～5月，李品仙具體指揮了隨(洲)棗(陽)戰役，迫使日寇撤退。李品仙由此獲得了干城獎章。
1939年10月23日，於秉信擔任安徽省政府主席。李品仙上任後，就與“CC”派合流。製造輿論，迫害由朱蘊山、章乃器等著名人士倡儀成立、共產黨員積極參加的安徽統戰組織“動委會”。李品仙在“改造省政府機構”的幌子下，設定黨政軍總辦公廳，總攬大權，清洗上層進步分子，調換各縣進步縣長，布置各地反共；全省出現了多起暗殺、活埋中國共產黨黨員的慘案。於秉信還下令取消安徽人民抗日自衛軍番號，調動軍隊進攻新四軍張雲逸、羅炳輝、李先念部，並派主力一部配合江蘇省政府主席兼魯蘇戰區副司令韓德勤東西夾擊，企圖消滅江北新四軍。這時，蔣中正正策劃圍剿新四軍的具體行動，企圖掀起第二次反共高潮。李品仙積極布置其第一七六師進駐長江北岸重要地段，配合顧祝同發動“皖南事變”。“皖南事變”發生後，於秉信被任命為淮南進剿區總司令，集結重兵屢次向新四軍第二師、第七師和淮南、皖中根據地進犯。
