辛亥年武昌起義前夕，張回響中國同盟會號召，中斷學業，與蔣介石、何應欽等回國參加武裝反清鬥爭，任武昌新軍指揮部之副隊官（副連長）。是年10月10日夜，新軍進攻湖廣總督衙門時，步槍彈盡。張揮舞大刀，冒死殺砍，所向披靡。1912年又東渡日本，完成中斷了的士官學業，1916年學成回國，任陝西模範營營長。後應其把兄何應欽之約，任貴州講武堂戰術教官兼黔軍第五混成旅參謀長。1923年經岳維峻及鄧寶珊舉薦，任胡景翼在彰德（今安陽）開辦的軍官學校教育長、校長。1924年夏，任黃埔軍官學校第一期戰術及編譯教官，後充何應欽之幕僚，參與平定陳炯明與楊（希閔）、劉（震寰）之亂。
1925年率第八混成旅討伐直魯聯軍總司令張宗昌時，坐騎中彈，墜下深谷，肋骨斷裂，遍體鱗傷，仍未懈志。1926年秋，何應欽發動奠定北伐勝利基礎之南京龍潭之役，張亦參與戎機，屢獻“虛實，實虛，猛進猛退，誘敵迷惘、舉措失據而迅雷聚殲”之策，一舉殲滅張作霖虎將、五省聯軍總司令孫傳芳八萬精兵。
北伐成功，張出任國民政府軍事委員會高級參謀及中央編遣委員。1929年蔣介石行削藩之策，派張與賀耀祖、林拔萃赴陝裁編馮玉祥部隊，擬將馮之50萬大軍編為1 0個師。行抵西安時，馮部十萬大軍以聲震蒼穹之實彈演習“迎接”，並將張扣押於西安鹽店街銀號之中，以示堅強不屈。後經閻錫山從中斡旋，張始脫險出秦，經太原飛抵南京。不久蔣介石令唐生智、方鼎英、楊虎城討伐馮軍，掀起中原大戰。
張於1932年被任命為暫編第二軍副軍長兼襄樊警備司令。1933年率部“圍剿”湘鄂西革命根據地，重創賀龍等領導的紅三軍，被何應欽、何成浚譽為“模範之師”；1935年4月被授予少將軍銜。西安事變前夕，報載：“張迺葳飛抵洛陽，委員長面授機宜。”所謂“機宜”，就是蔣介石為部署陝北“剿共”，要張接替邵力子主持陝政，以便與楊虎城討價還價。張不願與楊齟齬相左，遂託病婉拒。
1937年8月，張率部參加淞滬會戰，扼守吳淞。三萬士卒傷亡殆盡，張之左耳亦因之失聰。後改任第一戰區預備軍總參謀長兼陝南師管區司令，為第一、第二戰區徵調、培訓新兵，頗有成效。
1941年12月任陝西省政府委員，兼陝西軍事徵用委員會及陝西物資管制委員會主任委員。次年，有人於西安長樂坊掘出一鐵箱沙金，警方呈交省府。時任省主席並與張私交至篤的熊斌即赴張宅相商因應之策。熊采張意，以此款建造可容千人的巨廳一座，名之曰“中正堂”（西安解放後改名“民眾堂”，即今人民大廈之前身）。1943年，留法農業學者、黎坪墾殖區管理局局長安漢指責漢中警備司令祝紹周“才卑位高，政聲污穢，有負眾望”。祝即誣陷安在墾區種植罌粟而將其關押。張迺葳、張鳳翽義憤填膺，嚴辭抨擊祝之暴行，並電吁監察院院長於右任干預。祝竟抗上峰之令，冒天下之大不韙，槍殺安漢。張即電告蔣介石。蔣以不了了之，且升祝為陝西省政府主席。
同年，戶縣初級中學成立。張即以其父張孟襄之名義為縣中建圖書樓一座，並同其胞弟張迺華合資捐贈圖書三萬冊。
1944年張任國民政府軍事委員會戰區軍風紀巡察團主任委員，乘船沿漢江赴第五戰區巡察。臨行時僅帶大洋數枚，舟中三餐，唯包穀稠粥，別無菜餚；偶有一糖餅，即視為無上珍饈。4月15日之夜行至湖北沙洋（今屬湖北荊門）時，突來巨浪，掀翻其舟，幸虧左右船伴捨命搶救，方得脫險。多年後，老友張鳳翽、寇遐詢及此次遇險情況及其當時的心境，張說：“古今中外，成大業者，必有大的犧牲。犧牲小我，以喚醒國人繼我之後，設法利用漢江航道，開闢財源，興國富民，置陝西父老兄弟於衽席之上，實現了我考察漢江的初衷，那我就可謂死得其所了。含笑九泉，才是一種永恆的幸福。”巡察歸來，著《籌辦黃（河）渭（河）漢江淺輪說明書》，計畫疏浚漢江航道，製造40艘淺水輪船，往返於黃、渭與漢江，以盡陝西棉、煤及工業產品外運之利。無奈國難當頭，國民黨軍政官僚唯爭個人之利，等閒民生之事，其實業興陝的壯圖，只能付諸東流。以致他發出“及今空留計畫篇，夜闌扼腕淚濕衫”的悲嘆。抗日戰爭勝利後，張晉升為陸軍中將。
其後，張曾任陝甘豫三省參議兼建設廳總工程師。身為總工，無業可乾；官場應酬，又非其所願，遂棄官而任民間慈善救濟團體陝西紅十字會會長，談禪論道，以慰寂寞。1947年，蔣介石提升其為國民政府立法委員，但非其所願。胡宗南曾邀其同機赴南京議事，遭其婉拒。1950年3月被成都市軍管會處決。
