1937年10月日军侵入山东后，国民党军队溃退，中共山东省委（书记黎玉）在全省发动了十余起武装起义，包括徂徕山、黑铁山、天福山等，建立十多支游击队，总兵力约4万人；但这些部队分散在鲁中、胶东、鲁南等地，缺乏统一指挥，难以协同作战；
1938年5月，中共中央派郭洪涛率干部抵鲁，将苏鲁豫皖边区省委改组为山东分局，并统一部队番号为八路军游击支队；同年8月，中央再派张经武、江华、吴克华等160余名红军骨干赴山东，为整合武装提供组织基础。
1938年12月27日，八路军山东纵队于沂水县王庄正式成立，初期兵力约2.45万人。其各级领导成员名录如下：
一、纵队领导机关
指挥：张经武（老红军干部，曾担任过红一方面军师长）
政治委员：黎玉
参谋长：王彬
政治部主任：江华（原名虞上聪，1938年经毛主席批准改名，曾是红三军团干部）
供给部长：马馥堂
卫生部长：白备五（负责筹建医疗体系，创办战地医院）
二、直属部队
1.特务团
团长：陆升勋（后调任鲁中第二军分区司令员）
政委：王云生
政治处主任：王永才
2.临郯独立团
团长：薛浩
政委：韩去非
副团长：马菊人
三、主力支队
（一）第2支队（临沂、沂水等地武装组建）
司令员：刘涌
政委：景晓村
（二）第3支队（长山黑铁山地区武装组建）
司令员：马耀南（1939年7月牺牲）
政委：霍士廉
副司令员：杨国夫
政治部主任：鲍辉（1939年3月牺牲）
下属团级：
特务团：团长潘建军、政委孙正、政治处主任李曼村
第7团：团长马晓云、政委马千里
第10团：团长李人凤、政委陈兴（后罗文华接任）、政治处主任李曦晨
（三）第4支队（泰安徂徕山起义武装组建）
支队长：廖容标
政委：林浩
副司令员：赵杰
参谋长：王彬（兼）
政治部主任：周赤萍
下属团级：
第1团：团长程绪润、政委刘居英
第2团：团长单洪、政委汪洋
（四）第5支队（胶东地区武装组建）
司令员：高锦纯
政委：宋澄（1941年病故）
副司令员：吴克华
参谋长：赵锡纯（1942年牺牲）
政治部主任：宋竹庭
直属第65团：团长李肇歧、政委王云九、副团长徐子明
下属旅级：
第19旅：旅长高嵩、政委宋竹庭（兼）、参谋长王瀛洲、政治部主任李丙令
下属团级：
第55团：团长李华、政委向东
第61团：团长赵一萍、政委刘仲华、副团长阎世印
第63团：团长于得水、政委张玉华、参谋长陈子和
第21旅：旅长郑耀南、政委李耀文、政治部主任张加洛
下属团级：
第62团：团长郑耀南（兼）、政委李耀文（兼）、参谋长王兆林
第64团：团长陈龙飞、政委翟瑞甫
第25旅：旅长刘万令、政委柳云光
（五）第6支队（泰安夏张镇武装组建）
司令员：何光宇
政委：张北华
副司令员：刘海涛
参谋主任：马继孔
政治部主任：李冠元
下属团级：
第1团：团长陈伯衡、政委刘星
第2团：团长刘志远（后曹洪胜接任）、政委张谭（后邹鲁风接任）
第3团：团长于会用、政委李文甫
独立团：团长武圣域、政委马亚鲁
四、其他重要部队
鲁东游击指挥部（第7、8支队）
指挥：马保三（寿光牛头镇起义领导人）
政委：张文通
副指挥：韩明柱
参谋长：杨志雅
政治部主任：艾萍
下属团级：
第1团：团长李福泽、政委张子明
第3团：团长何凤池、政委于晓峰
第5团：团长魏培德、政委王永周
第12支队：
支队长：董慕仲
政委：张刚
副支队长：钱钧
政治部主任：董少白
陇海南进支队
司令员：钟辉（原名钟辉琨）
政委：梁海波
人民抗日义勇队第1总队
总队长：张光中
政委：李乐平
人民抗日义勇队第2总队
总队长：李贞乾
政委：郭影秋
副总队长：李发