黄百韬出生于1900年，广东梅县人，出生于天津。早年时期，他曾在河北省立工业专门学校学习，一段时间后，黄百韬家道中落，只能辍学回家。当时天津有一位黄百韬的老乡，他的名字叫李纯，曾担任江苏督军，家道中落的黄百韬便投靠了李纯，成为李纯部的一名传令兵。
黄百韬聪明伶俐，又是李纯的老乡，李纯对他也是知根知底，喜爱有加，并且还把身边的一位婢女许配给了黄百韬。在妻子的帮助下，黄百韬先后前往江西第九混成旅学兵营、江苏军官教育团以及金陵军官教育团学习，可惜的是，1920年，李纯突然去世，黄百韬一下子没了靠山，毕业后的他只能前往江苏省防军担任排长，后又晋升为连长。
值得一提的是，黄百韬在金陵军官教育团学习时，奉系将领张宗昌曾担任教育团团长，也因为这个原因，黄百韬与张宗昌有了师生之谊。上世纪二十年代中期，在张作霖的命令下，张宗昌率部进攻江苏等地，1925年1月，黄百韬投靠张宗昌。因为两人有师生之谊，所以黄百韬迅速受到重用，国民党第一次北伐期间，他已经升任张宗昌麾下的一名旅长了。
1928年，二次北伐期间，张宗昌被国民革命军打败，黄百韬也随部投靠了蒋介石，继续担任师长。不过，在蒋介石看来，这是一支杂牌军，按照对待杂牌军的惯例，不久后，黄百韬被解除了职务，并被送到陆军大学学习。
1930年，中原大战爆发，因为军阀混战，鄂豫皖根据地的工农革命势力蓬勃发展，中原大战结束后，国民党便开始集结部队进攻鄂豫皖根据地。1931年，黄百韬也前往湖北中部进攻红军，期间，他担任了41师123旅旅长以及41师代理师长、师长等职务。
不过，41师的官兵对黄百韬多有微词，于是黄百韬辞去了自己的职务，再次进入陆军大学学习。全面抗战爆发后，黄百韬调任第六战区司令长官参谋处长、冀察战区参谋长等职务，1940年，他因为一篇军事论文受到何应钦的赏识，次年便被调到第三战区，担任第三战区参谋长。
当时第三战区的长官是顾祝同，一开始，顾祝同并不喜欢黄百韬，但黄百韬把人际关系处理的很好，工作也做得可以，逐渐受到顾祝同的赏识。1943年，黄百韬被授予陆军中将军衔，1944年，黄百韬升任二十五军军长，他自知不是蒋介石的嫡系，所以打仗格外拼命，战绩也可以，因此逐渐受到重用。
抗日战争胜利后，黄百韬担任了国民党整编二十五师师长、第一兵团第四纵队司令、第七兵团司令官等职务，可惜的是，他却执迷不悟，继续追随蒋介石，参加了孟良崮战役、豫东战役、淮海战役等。
1948年11月5日，在淮海战役第一阶段，面对战局的不利情况，黄百韬准备率领撤退到京杭大运河以西，但在撤退之前，他收到刘峙的命令，刘峙要他等一等44军，就这样，黄百韬在原地等待了两天时间，也是这两天的时间，使得华野完成了对黄部的包围，最终黄百韬被围困在碾庄一带，11月22日，黄百韬兵败身死（一说他被击毙，一说他举枪自尽）。