在上海的刘公馆里,刘峙度过了两年安逸的生活。1948年夏,蒋介石又一次想起了刘峙。当时陇海线战事爆发在即,徐州“剿总”的战略地位凸显重要,蒋介石环顾各嫡系将领,一个个皆为解放军手下新败之将,何应钦推荐刘峙为徐州“剿总司令”,蒋介石也认为刘峙虽然打了一些败仗,但终究忠信可靠,虽然优柔寡断,但辅之以杜聿明等虎将,可收短长互补之效,因此决定起用刘峙。
刘峙久闲无事,忽然收到徐州“剿总”的任命,不禁受宠若惊,立刻向蒋表示“义不容辞”。6月14日,刘峙飞抵徐州就职。
刘峙走马上任后,国民党军界议论纷纷,有人说:“徐州乃南京的大门,应派一员虎将把守。不派一虎,也应派一狗看门。今派一只猪,眼看大门会守不住。”果如其言,是年9月,济南解放后,王耀武被活捉,刘峙、社聿明依仗“王牌军”,还想收复济南。当时制定了两个作战方案,一是以攻为守,向北阻止解放军南下,收复济南。二是南撤蚌埠,放弃徐州,抢淮河而守,加强南京外围防御。