张太生出生于1913年，江西省吉安县人，出生于一个贫寒的农民家庭。童年时期，因为家庭贫困，他一边做零活，一边读书，即便如此，张太生读了一年私塾后便辍学。辍学之后，他主要帮助家里做农活，力所能及地补贴家用。
大革命时期与土地革命时期，江西省吉安县的革命思想十分活跃，尤其是当地成立了很多农民协会，引导农民群众走向进步与光明。在这种背景下，张太生也参加了家乡的农民协会，并加入了少先队，开始为工农革命队伍做力所能及的工作，比如站岗、放哨以及传递情报，多次机智地完成组织交给的任务。
加入少先队后，张太生对红军有了更加深入的了解，他也认识到红军是一支真正为穷人战斗的队伍，因此迫切希望加入红军。不过，因为年龄等原因，张太生直到1932年才正式加入红军，成为红三军团教导营的一名战士。
1933年5月，张太生在教导营加入了共青团，8月，他转为正式党员。入党之后，张太生以更加严格的标准要求自己，因为表现优秀，他很快就担任了班长等职务，并随部参加了中央根据地的反“围剿”作战。
值得一提的是，在第五次反“围剿”期间，张太生负伤后被送到了后方的医院治病，那段时期，因为“左倾”错误的影响，红军的战斗也遭遇较多失利，1934年10月，第五次反“围剿”以失败告终，中央红军的主力部队被迫离开根据地，踏上了长征之路。
不过，当时张太生在后方治病，因为还没有痊愈，他只能负伤追赶大部队，并凭借顽强的意志，逐渐跟上了大部队，跟随大部队到达了陕北。到达陕北后，张太生迅速投身陕北根据地的建设，他一边战斗，一边抓住一切机会学习革命理论与军事理论，为后续全面抗战的爆发做好了准备。
1937年，全面抗战爆发后，张太生立即投身抗日救国的烽火狼烟当中，1938年，他被组织派到河南确山县竹沟镇，筹建抗日武装，并投身豫皖苏抗日根据地的建设当中。那段时期，张太生在彭雪枫的领导下多次参加对日作战，粉碎了日本侵略者对根据地的“扫荡”以及“蚕食”计划，在极端复杂的环境下，与日本侵略者进行了不屈不挠的斗争。
然而，国民党顽固派却害怕新四军发展壮大，不断阻挠新四军的抗日行动，破坏抗日民族统一战线，甚至在1941年制造了皖南事变。皖南事变后，新四军军部重建，张太生被编入新成立的新四军第四师，担任了十一旅副旅长。此后他继续活跃在豫皖苏一带，在我党的领导下英勇作战，取得了抗日战争的胜利。
抗战胜利后，张太生担任了华中军区第八军分区司令员兼政委、豫皖苏军区第七军分区司令员兼政委等职务，率部活跃在豫皖苏一带，并迅速打开了豫皖苏的局面，策应了挺进大别山等战斗，为后续淮海战役的胜利奠定了坚实的基础。同时，他也在我党的领导下取得了解放战争的胜利，见证了新中国的诞生。
新中国成立后，张太生担任了53军政治部主任、中南军区第三文化速成中学校长兼政委以及第一公安军干部学校政委等职务，1955年，42岁的张太生被授予少将军衔，成为开国少将。授衔之后十年，也就是1965年，52岁的张太生因病离职。离职之后，他依然关心国家大事与部队的建设，并积极献言献策。1981年，张太生因病去世，享年68岁。