张作霖因此而提升张宗昌为旅长，将其拉入到了自己的亲信圈子。
有一次，嗜赌的张宗昌一夜输了10多万元，张作霖听说后，拉着张宗昌再去赌，结果让张宗昌赢了20多万元。张宗昌明白，张作霖是想法给自己送钱。他对张作霖心存感谢，已经视其为知遇的恩人了。
1924年，第二次直奉战争爆发，张宗昌率部下一举攻占了“天下第一关”、华北门户山海关，张作霖因此提升他当了军长。此时，他的军队人数已经超过了十万。随着奉兵大举南进，占领华北，饮马长江，张宗昌也打回了老家，被委任为山东军务督办，当上了名副其实的“山东王”。
张宗昌兵多就是在这时候。具体是在1925年到1927年之间。那时，各地的土匪、地痞、恶棍、散兵游勇一听说张宗昌当了“山东王”，纷纷扯旗拉队伍蜂涌到了山东。张宗昌来者不拒，任其自报人数。报一千者，编为一团；报一万者，编为一旅或一军，最多时，竟达到32个军，40多万人。这样一来，其军队的番号就出现了混乱。