1948年5月,为适应敌后斗争形势需要，华东军区将淮南、淮北军区合併为江淮军区(司令员陈庆先，政治委员曹荻秋，副司令员饶子健、梁从学，副政治委员兼政治部主任杨光池，参谋长赵汇川)。下辖第1、第2、第3、第4军分区和第34旅、独立旅等部，共1.9万余人。6月至9月，转战津浦、陇海路段，配合华东野战军进行开封、睢杞、济南战役，牵制打击国民党军。11月，参加淮海战役，围攻赵墩，阻击黄伯韬兵团西逃，接着又配合第13纵队全歼国民党军第238师，解放灵壁。

1949年2月，根据中央军委关于统一全军编制和部队番号的命令。江淮军区第34旅、独立旅与淮海战役起义的国民党军第77军之第132师合编为中国人民解放军第34军(军长何基沣，政治委员赵启民，副军长饶子健、过家芳，副政治委员吴宪，参谋长张秀龙，政治部主任王德贵)，隶属第3野战军第8兵团。下辖第100师（以起义的国民党军第132师为基础改编，师长孙明泉。政治委员王学武）、第101师(以江淮军区独立旅为基础组成，师长叶道友，政治委员杨汉林)、第102(以江淮军区第34旅为基础组成，师长李木生，政治委员廖成美)。全军共1．6万余人。

1949年4月，经编组整训后的第34军参加渡江战役，和第35军一起，攻占瓜洲、浦镇，箝制南京、镇江正面国民党军。23日，占领镇江。6月，进驻南京，担任警备任务。7月，军部兼南京警备司令部，袁仲贤任司令员兼政治委员，何以祥、何基沣分任第一、第二副司令员，张藩任副政治委员。饶子键任参谋长，王德贵任政治部主任。

1949年7月，第100师调归第33军建制。11月，第101师调归第10兵团。12月，第102师调归第三野战军特种兵纵队，后改为炮兵第3师师部。 1950年1月，第3野战军教导师6个团调归第34军兼南京军区警备司令部建制。同时，军机关一部组建华东军区航空处。11月，军机关及其余部队改编为华 东公安第13师。第34军番号遂撤销。