早年經歷
土地革命戰爭時期，任中共中央軍委總政治部宣傳幹事。抗日戰爭時期，任八路軍第一一五師政治部宣傳部幹事，晉察冀軍區第一軍分區政治部宣傳科科長，冀熱察挺進軍騎兵大隊政治教導員，冀熱察挺進軍第九團政治處副主任，中共桑乾河區工委書記兼廣靈區大隊政治委員。參加了平型關和平西抗日根據地反“掃蕩”戰役戰鬥。
全國解放戰爭時期，任晉察冀軍區第一野戰軍冀察縱隊第七旅政治部副主任，晉察冀野戰軍第二縱隊七旅政治部副主任，第二縱隊第五旅政治部副主任，中國人民解放軍華北軍區軍政大學政治部政治教員，一總隊副總隊長。參加了綏遠、張家口、古北口、懷來、新保全等戰役戰鬥。
中華人民共和國成立後，任中國人民解放軍總參謀部軍訓部條令處處長，條令局副局長，中國人民解放軍訓練總監部軍事科學和條令教範處處長，中國人民解放軍軍事學院軍事學術史教授會副主任，戰史教授會主任。
遭受迫害
1957年2月彭德懷主持的國防部開始部署反教條主義，矛頭直指劉伯承擔任院長的軍事學院和蕭克擔任部長的訓練總監部。8月劉伯承被迫辭職。
1958年5月，在八屆五中全會上進入了決策中樞的林彪以中常委、黨的副主席、中央軍委副主席身份主持會議，召開了有一千多名高級幹部參加的擴大會議，再次把反對軍隊工作的教條主義的鬥爭推向了高潮。
鬥爭的殘酷，可以舉兩個例子足以說明。一是蕭克遭到連續四個多月批鬥後，有一天大口吐血。醫生端了吐滿血的痰盂給有關人員看，那些人不但沒有表示同情，反而指責醫生“同情反黨分子，立場不穩”。二是軍事學院訓練部部長、戰史教授會主任、紅軍時期幹部蔡鐵根大校在會上說，共同條令(五十年代軍內制定頒布的）是經彭總修改、軍委例會通過和毛主席批准的。話未說完就被當場摘掉領章帽徽，關押起來；後來，他被逐出軍隊，發配到邊疆勞動改造，根本不容許他申辯、講真話!
1959年10月，在全軍“反對教條主義”的運動中，被錯劃為右派分子，受到開除黨籍、軍籍，調離部隊的不公正處分，被分配到江蘇省常州市機械工業局當巡視員。
被貶常州後，蔡鐵根境況相當悽慘，老婆與他離婚，一人帶著3個年幼的孩子，艱難度日。
1969年8月，時值文革發生不久，常州市機械局的人保科長偕同常州中學的紅衛兵，以破“四舊”名義，到蔡鐵根家裡抄家，抄出了蔡鐵根的40多本日記，因為日記里有對黨內政治生活，以及對某些政策措施不滿的言論。特別是，他在日記中有批評毛澤東的語言，常州市委於9月上旬成立了“蔡鐵根專案辦公室”，將蔡鐵根和同他往來密切的吳翼、余須涌、屠蘇等人拘留。11月，常州市公檢法軍管會決定把與蔡鐵根案子有牽連的人集中到一起，用所謂辦“學習班”的辦法來搞。據參加“學習班”的人回憶，當時氣氛森嚴恐怖。關起大門走小門，所有的窗戶都用紙密密糊上了，15個對象由15個小組搞，各占一個房間。1970年3月，常州市公檢法軍管會根據幾次搞的材料，認定“以蔡鐵根、吳翼為首糾合反革命活動”判處蔡鐵根、李業舫死刑，立即執行。
1970年3月11日凌晨，蔡鐵根和他的同案人被叫起來吃飯。飯後他們被帶到一個房間裡。先是宣讀“逮捕證”，接著就向他宣告死刑判決。蔡鐵根聽了判決憤怒地說：“你們無權判我，我要抗訴！” “不準抗訴！”有人蠻橫地喝道。從聽到判決到最後，蔡鐵根始終從容鎮定。行刑前，蔡鐵根同被判處死刑緩期執行的吳翼道別時說：“你看過古戲《搜孤救孤》沒有？”吳說：“看過。”蔡鐵根說：“活著的，要把這個官司打到底！”
蔡鐵根是個寧折不彎的漢子，這樣的人在建國後的軍隊幹部中是很少見的。
平反昭雪
中共十一屆三中全會後，為蔡鐵根平反昭雪，恢復中共黨籍和中國人民解放軍軍籍。
1980年1月10日，在江蘇省常州市為蔡鐵根舉行隆重追悼會。其骨灰安放於北京八寶山革命公墓。
