1928年4月初，蒋介石协同冯玉祥、阎锡山、李宗仁，组成四个集团军，向张作霖所部发起全线进攻，这就是历史上的第二次北伐。
张作霖采取的对策是兵分两路，以联合军团在西路，对冯、阎两军取攻势，以张宗昌、褚玉璞在东路，对蒋军取守势。战事开始后，联合军团打得不错，战局对他们相当有利，军团部曾数次在发报机上截获并破译出冯玉祥向蒋介石告急求援的密电。
关键时候，东路却支持不住了。先前就曾有人提出，蒋军实力很强，应从联合军团中抽出两到三个军增援东路，可是张宗昌以为自己的兵力已经很多，足以保住山东，所以拒绝了援助。等到蒋军发动总攻，鲁军防线几乎是一击即破，张作霖原先对张宗昌的指示是布置纵深配备，步步防守，同时联络孙传芳残部协防，但张宗昌被打蒙了，下达总撤退令后，既未部署下一个防线，又未通知同在一城的孙传芳，就慌慌张张地逃出了济南。孙传芳独木难支，未几亦在蒋冯两军的夹击下被打得溃不成军。
张作霖震惊之余，深为恼怒。许多人背后议论，都说张宗昌是此次东路兵败的罪魁祸首，他不来见张作霖便罢，如敢来见，非掉脑袋不可。
谁知张宗昌不招自来，来了见到张作霖就跪下磕头：“大元帅怎么处罚，我都领！”张作霖说：“算了，胜败乃兵家常事，打仗不能总胜。败了嘛，只要把军队整顿整顿。”
张作霖一向如此，你犯了错，哪怕他已经放话说要枪毙了，只要你跪下来头一磕，承认自己错了，然后再说一句：“我是赤心为老将的。”他的心也就软了，说声“去吧，以后好好干”，挥挥手便会将你放了。曾几何时，汤玉麟背叛过他，张景惠辜负过他，事过境迁，张作霖不但予以原谅，还当好朋友如故。人们后来都说，正是因为老张“待人极好”，所以他才能够统治东北十多年，历经风雨而不倒，甚至于在他死后，部下们也才会爱屋及乌，拥戴小张继承父业，并让小张成为东北人公认的领袖。
除了待部下宽厚外，张作霖宽恕张宗昌还有另一层考虑。当时社会动荡，兵荒马乱，如果因为一时感情用事把张宗昌杀了，损失一员能征善战的勇将不说，张宗昌尚存的几万军队也就溃散掉了，这些军队打仗固然已经不行，但扰乱地方还有余，而张作霖已无多余精力加以兼顾了。
西路战事顺利之时，张学良的心情还是不错的。由于主要负责财政和人事，所以即便战事紧张，他仍能跑出去游玩，在逛赵国故城邯郸宫（或称赵王城）时，还兴之所至地写了一首咏古诗，诗中道“当年天下归心日，都在邯郸古赵宫”，似乎又找到了打仗的意义所在。
东路落败，令西路大受震动。张学良急忙赶回北京与张作霖见面，除了简单汇报前线战况外，就是要求撤兵。张作霖一听大发雷霆：“我当了快一年的陆海军大元帅，中国还没有统一，你就想撤兵不打了，你小子是要拆我的台！”
接着父子便辩论开了。原先张学良认为“天下是马上打下来的，主义有什么用”，但北伐军的迅速强大，让他感受到了“主义”的威力。他对张作霖说：“北伐军有孙中山的三民主义，能统一中国，咱们东北军什么主义都没有，统一不了中国。”
张作霖可没有这么与时俱进，他大吼道：“我就不信你小子的话！你是胆小鬼，叫三民主义、孙大炮把你小子的胆吓破了。什么三民主义，我是四民主义，我还有大炮呢，他有吗？”
不知不觉中，张作霖仿佛又回到了第二次直奉战争后的那段美好时光，“东北军人强马壮，兵多、飞机多、大炮多、大豆多，年出超三亿多美元（主要指大豆、小麦等农产品的出口），占了八九个省的地盘，有十几个骑兵师”，那个时候他老张怕过谁？就算是张郭战争以后，还不是曾把冯玉祥赶到陕西，并且大败过阎锡山吗？