黄维出生于1904年，江西贵溪人，出生于一个农民家庭。早年时期，他曾在县立第一高等小学以及鹅湖师范学院读书学习，从师范学院毕业后，他返回家乡任教。1924年，在方志敏等人的介绍下，黄维前往广州，报考了黄埔军校，并被录取，成为黄埔一期的学生。
在黄埔军校期间，黄维刻苦训练，遵守纪律，表现非常优秀。1924年11月，他从黄埔军校毕业，此后留在黄埔工作，担任了黄埔军校校长办公厅见习、黄埔军校第三期入伍生总队第八队中尉区队长等职务，并参加了东征与北伐。
东征与北伐期间，黄维表现非常优秀，尤其是北伐期间，他担任预备第一师第三团第三营营长，而团长就是陈诚。在此期间，因为新兵比较多，黄维一边带兵训练，一边教授知识，迅速提高了士兵的战斗力，他的这些举动也被陈诚看在眼里，陈诚非常欣赏黄维，黄维也长期追随陈诚，在陈诚的提拔下晋升很快，是陈诚“土木系”的得力干将。
1928年，黄维进入陆军大学深造，毕业后重返十八军十一师，担任了三十二旅旅长，1934年，他晋升为十一师师长，一年后，黄维被送到德国留学，主要学习德国的军事训练等方面的知识，全面抗战爆发后，他立即返回国内，投身抗日救国的烽火狼烟当中。
回国后，黄维担任了十八军六十七师师长，率部参加了淞沪会战。淞沪会战期间，国民党部队损失非常严重，尤其是在罗店争夺战中，黄维率领的部队几乎损失殆尽，后来被特赦后，黄维还专门找机会来到这里，凭吊当年牺牲的战友。
淞沪会战之后，黄维又参加了武汉会战，并在这之后担任了十八军军长、五十四军军长等职务。黄维性格比较刚硬，担任五十四军军长期间，曾因为军需问题与何应钦吵架，并多次给何应钦写信要求提高士兵的供给，却被何应钦扣上了“破坏军需”的帽子，黄维愤然辞去了五十四军军长的职务，带着妻儿返回老家，并表示自己宁肯回家种地，也绝不同流合污。
1942年6月，昆明防守司令部成立，黄维被再次启用，担任了司令一职。后续他又担任了监训处副处长、青年军编练副监等职务，主要从事青年军的训练与军事教育工作，而且他本人也比较喜欢这一行，做得有声有色。
抗战胜利后，黄维担任了联合后勤总司令部副总司令，他见不惯国民党的贪污，一段时间后便主动请辞，此后黄维被调到新制军官学校担任校长，继续从事自己喜欢的军事教育工作。1948年9月，他被任命为国民党十二兵团司令，率部参加了淮海战役（国民党称之为徐蚌会战）。
淮海战役期间，黄维在双堆集被我军包围，突围期间，他兵败被俘，并被关押起来。新中国成立后，黄维被转入北京功德林战犯管理所接受改造，不过，他的思想比较顽固，为了抗拒改造，甚至还留起了胡子。
改造期间，黄维迷上了研究永动机，在这方面倾注了很多心血，当然，这也可能是他逃避改造的一种方式。1975年，黄维被最后一批特赦，此后他留在大陆，担任了全国政协委员以及全国政协常委等职务，积极发挥余热，为祖国的统一事业做了很多力所能及的工作。1989年，黄维因病去世，享年85岁。