新四军第二师活动于东起运河，西至淮南铁路和瓦埠湖，北临淮河，南濒长江的淮南抗日根据地，担负着坚持淮南抗日游击战争和对西防御国民党顽军东犯的任务。
为统一指挥淮南抗日根据地的地方武装，1943年2月成立了淮南军区，辖津浦路东军分区和津浦路西军分区。
津浦路东联防司令部（1940年4月18日成立，辖独立一团、独立二团、独立三团、独立四团，1941年3月重建，1942年1月改称改称淮南苏皖边军区，1943年2月改称淮南军区津浦路东军分区）
司令员：杨梅生 政委：刘顺元 副司令员：林英坚、罗占云 政治处主任：祝世凤、侯政、王敬群、张树才 参谋长：赵俊
杨梅生中将 湖南军区司令员 刘顺元 江苏省委副书记 林英坚 烈士 罗占云 烈士
祝世凤少将 王敬群 南京市委副书记 张树才少将 赵俊少将
林英坚：1941年11月26日，在路西著名的 黑狼庙战斗 中牺牲。12月15日，在路东岗村为林英坚团长举行了隆重的追悼大会。张云逸副军长和罗炳辉副师长亲临参加，张云逸亲自拟了悼词，对烈士的一生作了高度评价。
独立一团（以第五支队第十五团三营为基础组建）
团长：漆德庆 政委：朱云谦
漆德庆 中南军区43疗养院分院院长 朱云谦少将 空军学院副院长
独立二团（以第十五团1、2营为基础组建）
团长：刘树刚、饶守坤 政委：刘景胜
饶守坤 中将 刘景胜 烈士
刘景胜：1939年任新四军第五纵队第十五团政治委员。1940年8月，在安徽炳辉县病逝。
独立三团（以第五支队特务营为基础组建）
团长：杨梅生 政委：阮贤榜
杨梅生中将 阮贤榜少将
独立四团（以江北指挥部特务营一个连和天长县地方武装组成）
团长：程启文、罗占云 政委：侯政、王义勋
程启文少将侯政 高检法纪厅厅长 王义勋少将 南京装甲兵副政委
天高支队 政治处主任：熊挺
熊挺少将 南京工程兵副政委
津浦路西联防司令部（1940年4月成立，下辖六个独立团和六旅第十八团，1942年1月，改称淮南苏皖边军区，1943年2月，改称淮南军区津浦路西军分区，独立1----5团撤销）
司令员：魏文伯、梁从学、郑抱真 政委：彭康、谭光庭 副司令员：程式、陈庆先 参谋长：程式、李国厚、杜国平 政治部主任：吕清 公安局局长：杨家保
魏文伯 司法部部长 梁从学中将 郑抱真安徽政府秘书长
彭康 西安交通大学校长 谭光庭 铁道部政治部主任 陈庆先中将 济南军区参谋长
杜国平少将 黑龙江军区参谋长 吕清少将 农垦部副部长 杨家保少将 安徽省军区副政委
团长：李国厚、蔡家章 政委：徐康明
李国厚少将 徐康明烈士
团长：梅竹樵 政委：张方坤
梅竹樵 烈士 张方坤大校 宁波军分区政委
独立三团（由定凤怀县地方武装编成）
团长：余海清、雷文学 政委：杨杰英
余海清 烈士 雷文学 商丘副专员
余海清：1941年率部在安徽定远县十八里岗与日军作战。战斗中壮烈牺牲。时年27岁。
团长：魏立成 政委：张方坤
魏立成 烈士
魏立成：1942年，经张云逸副军长介绍加入中国共产党，他很自豪地逢人就说： 我也在党了！ 1945年调任新四军二师独立团团长。1947年秋因积劳成疾，病逝于苏北阜宁县喻口镇第七后方医院。
团长：谢禄轩 政委：许军成 政治处主任：叶松盛
谢禄轩 安徽公安厅牛奶场场长 许军成大校 福州军区后勤部政委 叶松盛少将 空军政治部主任
淮西独立团（42年6月成立）
团长：李国厚 政委：杨效椿
李国厚 少将 杨效椿 合肥市委书记
六旅十八团（1941年12月，划归路西联防司令部指挥）
西华人民抗日自卫军（1938年5月组建）
司令员：楚博 副司令员：胡晓春、侯香山 参谋长：沈东平
一九四三年九月，六旅撤销，谭希林调七师代师长，十六团随调，十七团编到五旅，五旅接路西军分区。
谭希林中将 中国驻捷克斯洛伐克大使
王胜凯：新四军二师六旅十八团政治处主任、政委。因叛徒告密不幸被捕。于1947年9月9日将王胜凯、郑述勤和警卫员活埋在县城北门外。王胜凯临危不惧，高呼口号，壮烈牺牲。
新四军第二师革命烈士〔部分〕：
战将罗占云 秦贤安烈士墓 张元寿烈士墓 金牛山战斗纪念碑
罗占云：淮南津浦路东联防司令部副司令员兼独立团团长、新四军2师第5旅副旅长、津淮北军区副司令员。因积劳成疾病1948年4月25日病逝。
秦贤安：新四军第2师4旅副旅长，1947年7月21日在山东南麻战役中英勇牺牲。
郑行剡；新四军淮南军区独立团政委，1941年十月在江苏六合县蚂蚁山战斗中牺牲。
汪德安：新四军淮南军区定远总队副队长，他于1942年1月29日在安徽定远牺牲。
陈宗胜：新四军第二师五旅十三团副团长，于一九四三年八月十七口于江苏省六合县桂子山战斗中牺牲。
张元寿：新四军第2师5旅兼淮南津浦路东军分区参谋长，他参与泗县、五河、灵壁、风阳等地的开辟和大桥、占鸡岗战斗，在解放战争时期，任华东野战军副参谋长。1947年3月，在山东淄博张店遭国民党军飞机袭击，中弹牺牲；
王凤岐：新四军第二师四旅十团参谋长。一九四三年七月因积劳成疾，不幸病故；
吴师孟：新四军第二师军工部部长。因积劳成疾一九四二年八月于盱眙县翟庄病故；
朱茂绪：新四军第二师五旅十四团团长，一九四五年五月于津浦路西肥东黄童庙反顽战斗中牺牲；
漆承宏：新四军津浦路东联防司令部独立二团副参谋长，于江苏省六合县四号墩反 扫荡 战斗中牺牲；
郑行郯：新四军第二师兼淮南军区六合独立团政治委员，于江苏省六合县蚂蚁山战斗中牺牲；
汪德安：第二师兼淮南军区定远县总队副总队长，一九四二年一月二十九日于安徽省定远县十八里岗战斗中牺牲；
许午阳：第二师兼淮南军区嘉山总队政治委员，一九四五年十月二日于赢山县管店附近战斗中不幸牺牲；
李秉初：第二师五旅十三团政治处副主任。一九四三年八月十七日于江苏省六合县桂子山战斗中牺牲。
方和平：新四军第二师六旅十八团副参谋长。同年于安徽省寿县大李架战斗中牺牲；
刘起增：新四军第二师五旅十五团政治委员。因积劳成疾，一九四一年冬病逝于安徽省天长县；
兰祥：新四军2师6旅16团副团， 1945年2月反顽176师进攻战斗中阵亡；
殷绍礼：新四军二师5旅15团政治委员，1946年10月任华东野战军2纵队4师师长，在亲临东圩子前沿察看地形时，被敌人从暗堡里射出的子弹击中，不幸牺牲；
徐海珊：新四军第二师四旅政治部主任，1948年9月16日，济南战役中他是主攻部队师政委，突遭敌机轰炸，和师部几名参谋同时遇难牺牲。
淮南军区领导机关由第二师领导机关兼。此时第二师领导人均已变动：
师长兼军区司令员罗炳辉，政治委员谭震林，参谋长韩振纪，政治部主任萧望东。
罗炳辉 谭震林 韩振纪中将 总后军械部部长 萧望东 中将
新四军第二师在抗日战争中发展壮大，到抗日战争胜利时，已有4个旅11个团，共3.5万余人，另有地方武装1.5万余人。
