人物生平
談綱出身醫學世家，父親談復、母親茹氏皆為當時的名醫，談復不僅醫術高超，還頗具醫德，常常免費醫治窮人。
根據宗譜記載，無錫談氏以談信為始祖，談信在宋代曾任翰林院博士，原籍汴梁，即現在的河南開封，談信於宋高宗時，扈駕（隨著帝王的車駕）南渡，落籍無錫，死後葬於無錫惠山西大池灣游來塢。談信與妻子張氏的生卒年均不詳，宗譜記載他們共有五個兒子。談家來到無錫，自談信以後，第二代一直到第五代人中均未出現傑出的人才，一直到第六代，談泰中了舉人得以擔任南京湖廣道監察御史等職，然後到了第八代，也就是談允賢的伯父談經和父親談綱均考中進士，一門出了兩位進士，自此家族日益興旺。宗譜記載，談綱妻子朱氏及錢氏，生有兩兒一女，女兒允賢夫家姓楊，著有《女醫雜言》傳世，此書記錄於談氏文獻錄。
歷史上談家一直在無錫的一個望族。特別是明代中葉開始，談家人才輩出，總共出過3名進士和3名舉人。在談泰、談經、談綱以及談允賢之後，家族出了歷史上赫赫有名的高官談愷，談愷的兒子談志伊則是一位著名畫家。所以，談氏一族在無錫有“談半城”、“半城風雨半城談”之美譽。可見，談家培養出談允賢這樣的人才有其深厚的家學淵源。
家庭成員
曾祖父：談禮
祖父：談紹
父親：談復
母親：茹氏
兄長：談經
妻子：朱氏、錢氏
長子：談一麟（朱氏所生）
女兒：談允賢（錢氏所生）
次子：談一鳳（錢氏所生）
史籍記載
光緒本《無錫金匱縣誌》卷二十五第二十五頁
《無錫金匱縣誌》卷十九第十四頁
《女醫雜言·自序》
影視形象
2016年電視劇《女醫·明妃傳》王新民飾演譚鋼
