张祖谅出生于1911年，河南省商城县人。1931年，他参加了红军，此后他跟随红四方面军参加了鄂豫皖根据地的建设以及川陕根据地的开辟，并在1935年踏上了长征之路。全面抗战爆发后，张祖谅担任了太岳军区第二军分区政治部主任、第三军分区副政委等职务，率部参加了七亘村、神头岭战斗以及百团大战，是抗战胜利的功臣之一。
抗日战争胜利后，张祖谅担任了晋冀鲁豫军区第十九军分区司令员、晋冀鲁豫野战军第八纵队参谋长、60军副军长以及军长等职务，率部参加了上党、运城、临汾、晋中、太原以及进军西北、挺进西南等战役，立下赫赫战功，尤其是他指挥的60军中，涌现出了“临汾旅”等英雄团体，为建立新中国作出了不可磨灭的贡献。
西南解放后，张祖谅留在当地工作，担任了第18兵团60军军长兼成都警备司令部司令员，不久后，他卸任60军军长，改任川西军区副司令员，后续又担任了司令员一职。而60军则在新任军长的率领下入朝参战，投身保家卫国的战斗当中。
不过，因为种种原因，60军在朝鲜战场遭遇了失利，尤其是180师，在朝鲜战场的第五次战役中被敌人包围，损失惨重，全师七千余人只突围出了三百多人。消息传回国内后，张祖谅的心情非常沉重，特别想到朝鲜战场弄清楚情况。
可能很多人好奇，作为60军的老军长，张祖谅为什么没有率部前往朝鲜战场参战呢？再说临阵换将乃是兵家大忌，从这方面说，张祖谅也应该率领60军前往朝鲜战场。其实，主要原因是张祖谅的身体不好，而且胃病缠身，再加上川西军区刚刚成立，面临的剿匪、反霸以及支援地方建设等任务十分艰巨，所以上级综合考虑，便让张祖谅留在川西军区。
60军失利之后，张祖谅除了心情沉重之外，还有一点就是想不明白，因为这支部队是他一路看着过来的，当年攻运城、破临汾、战晋中、取太原，一路打到西北与西南，可谓是攻必克、战必胜，几乎没有遭遇什么抵抗。
为了弄清心中的疑问，1952年7月，张祖谅跟随西南军区参观学习团到达朝鲜战场。在朝鲜战场，他终于见到了180师情况的通报，“对敌估计不足，战术运用失误……”等问题都是180师出现的。看到情况通报后，张祖谅下定决心，当场提出希望重回60军，带领60军打翻身仗。
客观来说，以当时60军的处境，作为老军长的张祖谅重回60军是一件非常必要的事，但张祖谅的身体不好，尤其是胃病缠身，川西军区的同事以及他的妻子都劝他好好考虑，最起码要等治好病再出征。但张祖谅毅然抱病出川赴任，重新担任了60军军长。
1952年10月下旬，张祖谅到达60军在朝鲜战场的军部，受到了全军的热烈欢迎。当时60军驻防在文登里至汉江一线，执行防御任务，而敌军十分嚣张，不仅公然在阵地上来回走动，而且还晾晒衣物、唱歌跳舞，可以说没把60军放在眼里。
张祖谅深知不能意气用事，他制定了“从小仗打起，不断总结经验，积小胜为大胜”的战略方针，组织部队开展冷枪冷炮运动，利用两个月的时间毙敌三千多人，打得敌人再也不敢在阵地上随意走动。在这之后，张祖谅又指挥60军开展反击战，不断组织小股部队出击歼敌，适时扩大战果，在两个月的时间里，60军出动小分队234次，与敌战斗43次，打得敌人毫无招架之力，也带领60军重拾作战信心，可谓是打了一个翻身仗。
在这之后，60军班师回国，1955年，张祖谅被授予中将军衔，成为开国中将。授衔之后，他进入军事学院学习，后担任了参谋长等职务，于1961年因病去世，享年50岁。
#artContent h1{font-size:16px;font-weight: 400;}#artContent p img{float:none !important;}#artContent table{width:100% !important;}