从1916年8月19日起，围绕郑家屯事件，北京政府外交部与日本新任驻华公使林权助展开谈判。谈判期间，张作霖并未袖手旁观，他采取了积极介入的态度。
郑家屯事件缘起的最关键问题，是谁寻衅在先。日方在谈判中恶人先告状，声称武装冲突是因“中国兵发炮挑斗”所致，且奉军对日军实施了“猛烈攻击”，为此他们曾将两名中国商人抓起来，逼其画押，以制造伪证。张作霖得悉后，于8月28日急电北京政府进行揭露，外交部据此发出声明，认为逼供不能作为证据，从而使日方制造伪证的行径未能得逞，己方也得以从最初的极度被动中慢慢摆脱出来。
不管谈判进行到哪一步，总之奉军在郭家店方面是没有再发动进攻。有日本人在背后撑腰，本已濒临绝境的巴布扎布和蒙军又来了精神，他们在郭家店竖起一面一丈多长的黄旗，有人把它看成是象征复辟的清朝国旗“黄龙旗”。一时间，这些人张牙舞爪，不知怎样显摆才好了。
配合着官方行动，日本国内的许多报章杂志也极力对巴布扎布进行吹捧，先把他描绘成一个“躯干高大，容貌非凡，具有将才霸气”的“常胜将军”，继而又称其“作为成吉思汗的后裔，雄才大略，有图谋蒙古民族复兴之壮志”。经过内外这么一包装，巴布扎布俨然成了“成吉思汗再世”、蒙古独立的英雄，善耆等宗社党要员脑子一热，干脆把自己组建的约八百“勤王军”也运抵郭家店，由巴布扎布统一指挥。
“勤王军”一出，立刻被张作霖抓住把柄。因为自民国成立以来，中央政府对宗社党人历来是严惩不贷，宗社党把“勤王军”拨给巴布扎布，就表明二者已经合流，当然也应与之同罪。张作霖遂正式通告日方：“蒙匪既与勤王军联合，中国军队不得不大举讨伐。”随着他一声令下，奉军打破与日本刚刚订好的“协约”，对撤出郭家店的蒙军发起猛攻，并在1916年9月2日予蒙军以重创。
同一天，中日进行第四轮谈判。出面谈判的外交总长陈锦涛根据张作霖的八条意见，对日方进行逐条批驳。此前一直在事件的具体情节上反复纠缠的林权助立即陷入被动，只得以“此案实无深究之必要”进行搪塞，以后又承认事件中的日本警察河濑处理不慎，日军也“稍有过分者”。
虽然理屈词穷，但林权助倚仗着自己国家有实力，仍以郑家屯事件为借口，非常蛮横霸道地提出了八条要求。在这八条要求中，除对有责任的中方官兵予以免黜或惩处外，还包括向东北派驻日本警察、向东北各部队派遣军事顾问等。中国外交部自然不能同意，双方争执激烈，尤其在派驻日本警察一项上更是互不相让，后来该项也成为每一轮谈判的焦点所在。
日本政府一边在谈判中实施逼迫式打法，一边仍没有忘记继续维护自己的工具。9月3日，眼看蒙军即将被歼，日军开始直接对其实施援助。蒙军原先的武器主要由日本政府和宗社党偷运提供，南下这么多仗打下来，军械子弹已经十分匮乏。日军便从四平街方面运来武器进行补充，其中不仅有大量子弹和炮弹，还包括了四门青铜炮。这四门青铜炮均为日俄战争时日军使用的旧式山炮，一发射炮弹就要后退三米远，必须再上推到原地才能继续发射，怕蒙军不会用，一个退伍的日军炮兵少尉被专门派来充当炮手。
蒙军的武器弹药重新变得充裕起来，而由于无法使用铁路，奉军的给养则越来越接济不上。当天下午，因为缺乏子弹，奉军被迫转攻为守，黄昏时组织撤退。在这种情况下，张作霖只得再度与日方立约，准许蒙军安全退回蒙古大沙漠，而条件是日本必须解除“勤王军”的武装。
协约虽然订了，但各方其实都无守约的自觉性，日本嘴上答应着，实际对“勤王军”一个手指头都没动，与此同时，张作霖也在蒙军出发后不久，就通知奉军对蒙军及“勤王军”继续发动进攻。巴布扎布本身更不老实，他非但不肯就此偃旗息鼓，率部返回沙漠，而且还在与奉军交火的同时，不断对沿途的城镇村寨进行烧杀和劫掠。
从9月中旬起，中日双方在北京的交涉也逐渐进入白热化阶段。林权助为了逼迫中方让步，又无中生有地捏造事实，说尽管日军在事件中先闹上门，可是当他们在撤离时，却遭到了奉军的“包围追击”。参加谈判的外交次长夏诒霆因为对具体情节掌握得不是特别清楚，所以未能予以当面驳斥。
过后外交部紧急电询张作霖，张作霖再度进行详细调查，查明被打死的十二名日本兵中，十一人的致命处均在前面，剩下一人的伤口也在左腰眼。依据张作霖所提供的尸体检查报告，中方代表在谈判中据理力争，林权助无隙可乘，也自觉理亏，在以后的谈判中未再提及此事。