在上海的刘公馆里，刘峙度过了两年安逸的生活。1948年夏，蒋介石又一次想起了刘峙。当时陇海线战事爆发在即，徐州“剿总”的战略地位凸显重要，蒋介石环顾各嫡系将领，一个个皆为解放军手下新败之将，何应钦推荐刘峙为徐州“剿总司令”，蒋介石也认为刘峙虽然打了一些败仗，但终究忠信可靠，虽然优柔寡断，但辅之以杜聿明等虎将，可收短长互补之效，因此决定起用刘峙。
刘峙久闲无事，忽然收到徐州“剿总”的任命，不禁受宠若惊，立刻向蒋表示“义不容辞”。6月14日，刘峙飞抵徐州就职。
刘峙走马上任后，国民党军界议论纷纷，有人说：“徐州乃南京的大门，应派一员虎将把守。不派一虎，也应派一狗看门。今派一只猪，眼看大门会守不住。”果如其言，是年9月，济南解放后，王耀武被活捉，刘峙、社聿明依仗“王牌军”，还想收复济南。当时制定了两个作战方案，一是以攻为守，向北阻止解放军南下，收复济南。二是南撤蚌埠，放弃徐州，抢淮河而守，加强南京外围防御。