1938年12月27日，山东地区抗日武装合编为八路军山东纵队（简称“山纵”）。其下辖6个支队及鲁东游击指挥部、陇海南进支队等部，共约4万余人。1939年8月1日，中央军委令建八路军第一纵队（简称“一纵”），以统一领导山东黄河以北地区与冀鲁边东进抗日纵队等八路军武装。是年10月1日，“山纵”与“一纵”领导机关合建，“山纵”建制仍存。1940年5月，“一纵”番号裁撤，并入“山纵”。
山东人民抗日起义军（1937年12月-1938年12月）
山东人民抗日救国军第三军
1937年12月组建于胶东。
司令员 理琪；高锦纯（后）
政治委员 宋澄
副司令员 吴克华
政治部主任 林一山
山东人民抗日救国军第五军
1938年2月山东清河黑铁山起义组建。
司令员 廖容标；马耀南（后）
政治委员 姚仲明；霍士廉（后）
副司令员 马耀南
政治部主任 赵明新
山东人民抗日游击队第四支队
1938年1月鲁中徂徕山起义编建。
司令员 洪涛；廖容标（后）
政治委员 黎玉
副司令员 赵杰
政治部主任 林浩
八路军鲁东游击指挥部
总指挥 马保三
政治委员 林一
山东西区人民抗敌自卫团
主席 张北华
八路军山东纵队编建一（1938年12月-1939年10月）
1938年12月27日组建，翌年10月14日并入“一纵”。
总指挥 张经武
政治委员 黎玉
副总指挥 王建安（1939年3月任）
参谋长 王彬
政治部主任 江华
供给部部长 马馥堂
八路军第一纵队（1939年8月-1940月5日）
1939年8月1日成立，1940年5月并入“山纵”。
司令员 徐向前
政治委员 朱瑞
副司令员 张经武（1939年10月任）
副政治委员 黎玉（1939年10月任）
参谋处长 罗舜初
政治部主任 朱瑞（兼）
第一支队
支队长 马宝山
政治委员 周赤萍
第二支队
支队长 刘涌；吴克华（1939年10月任）；孙继先（1940年5月任）
政治委员 景晓村；阎世印（1939年10月任）；潘寿才（1940年5月任）
第三支队
支队长 马耀南；杨国夫（1939年10月任）
政治委员 霍士廉；徐斌洲（1940年5月任）
第四支队
支队长 廖容标
政治委员 林浩；胡奇才（1939年10月任）
第五支队
支队长 高锦纯；吴克华（1940年5月任）
政治委员 宋澄；高锦纯（1940年5月任）
第六支队（1939年10月裁）
支队长 何光宇
政治委员 张北华
第十二支队（1939年10月裁）
支队长 董慕仲
政治委员 张刚
陇海南进支队（1940年8月归建新四军）
支队长 钟辉
政治委员 梁海波；韦国清（1939年10月任）
鲁东游击指挥部（第七、八支队）（1939年10月裁）
指挥 马保三
政治委员 张文通
鲁南人民抗日义勇队第一总队（1939年10月裁）
总队长 张光中
政治委员 李乐平
鲁南人民抗日义勇队第二总队（1939年10月裁）
总队长 李贞乾
政治委员 郭影秋
苏皖游击纵队（1940年4月裁）
司令员 江华
政治委员 江华（兼）
八路军东进挺进纵队（1938年10月建）
八路军山东纵队编建二（1940年9月-1942年8月）
1940年9月“山纵”整编为5个旅，2个支队。连同山东地方武装共计约5万人。1941年8月19日，“山纵”奉命归建第一一五师指挥。翌年3月，“山纵”总部与师部合署办公，8月1日，“山纵”裁撤，正式改组建山东军区。
山东纵队指挥部
总指挥 张经武
政治委员 黎玉
副总指挥 王建安
参谋处长 罗舜初
政治部主任 江华
第一旅
由第一、四支队与“山纵”特务团合编。1942年8月改编为第一一五师教导第一旅。
旅长 王建安（兼）
政治委员 周赤萍
副旅长 廖容标；胡奇才（1941年9月任）
第二旅
由第二、七、九支队合编，1942年8月改编为滨海独立军分区。
旅长 孙继先
政治委员 江华；王叙坤（1941年9月任）
副旅长 刘海涛
第三旅
由第三支队改编。1942年8月改编为清河军区。
旅长 许世友
政治委员 刘其人
副旅长 杨国夫
第四旅
1941年9月由第一旅一部分建，1942年8月改编为鲁中军区第一军分区。
旅长 廖容标
政治委员 汪洋
副旅长 赵杰
第五旅
由第五支队改编。1942年8月改编为胶东军区。
旅长 吴克华
政治委员 高锦纯
