曾祥煌出生于1914年，湖北潜江人，出生于一个贫寒的农民家庭。青少年时期，他追求真理，向往光明，渴望将来为国家而奋斗。大革命时期，全国革命形势高涨，革命的春风吹到了曾祥煌的家乡，受此影响，曾祥煌也接触到革命思想，并对革命心生向往。
1931年，17岁的曾祥煌加入了共青团，次年，他参加了红军。参加红军之后，曾祥煌陆续担任了红3军9师26团排长，红2军团6师16团连指导员、团政治处主任等职务，参加了湘鄂西以及湘鄂川黔革命根据地的反“围剿”作战。在战斗期间，曾祥煌也迅速成长为一名坚定的革命者，并在1934年加入了我党，成为一名光荣的党员。
1935年11月，曾祥煌跟随红二军团与红六军团的主力部队踏上了长征之路。长征期间，他翻雪山、过草地，历经千难万险后到达甘肃，见证了红军三大主力的会师以及长征的结束。长征结束后，曾祥煌进入陕北深造，系统地学习了马列主义革命理论与军事理论，为后续全面抗战的爆发做好了准备。
1937年7月，全面抗战爆发后，在抗日民族统一战线的指导下，陕北的红军主力改编为八路军，曾祥煌被编入八路军120师，成为120师的直属通信营教导员。在这之后，他随部奔赴山西抗日前线，投入到紧张的对日作战中，陆续参加了挺进冀中、百团大战以及对日大反攻等战斗中，在极端复杂的环境下，与日本侵略者进行了不屈不挠的斗争，迎来了抗日战争的胜利。
抗日战争胜利后，曾祥煌继续留在西北地区，陆续担任了晋绥野战军358旅715团政委、晋绥军区以及西北野战军第1纵队358旅715团政委、旅副政委等职务。西北野战军改编为第一野战军后，他担任了第一野战军1军1师副政委、政委，率部参加了绥包、大同、集宁、保卫延安以及解放大西北的作战，立下赫赫战功，见证了新中国的诞生。
新中国成立后，曾祥煌留在西北工作，担任了第1军第1师政委，后续他又被调到东北军区，担任了旅大警备区副政委以及第五十七速成中学校长等职务，致力于旅大警备区的建设以及为我军培养优秀的干部人才。
1955年，曾祥煌被授予少将军衔，成为开国少将。同时，曾祥煌还荣获了二级八一勋章、二级独立自由勋章、二级解放勋章，以表彰他在革命时期作出的卓越贡献。授衔之后，曾祥煌继续致力于我军的各项建设，1956年，42岁的曾祥煌升任38军政委，同时，他也是继梁必业、刘西元、吴岱之后38军的第四任政委。
38军是解放东北的主力部队之一。1948年11月，辽沈战役结束后，经过上级批准，东北野战军第一纵队改编为38军。抗美援朝爆发后，38军入朝参战，在朝鲜战场的第二次战役中，38军歼灭大量敌军，赢得了“万岁军”的光荣称号。
1960年，曾祥煌卸任这支“万岁军”政委，在这之后，他又担任了空军雷达工程学院政委、通信兵工程学院政委等职务，继续为我军的革命化、正规化殚精竭虑地贡献。晚年的曾祥煌主要生活在武汉，于1981年因病去世，享年67岁。