面对列强纷争的复杂形势，张作霖一方面电请北京政府采取措施；另一方面调兵驻防，加强对中东路的保护（称为护路军）。1919年1月25日，北京政府交通部密电称：“日美等国协议共管中东铁路之事，并未征得我国同意，这是置我国主权于不顾，我国绝不能承认。”
所谓“国际共管”，按照列强们的说法，是将外国人在中国东北建的铁路置于国际管理之下，以免一国专权垄断。张作霖在受访时说，如果列强真的有这么好的心肠，他倒是非常赞成，可问题是不能只“共管”中东铁路，南满铁路怎么办？也得“共管”起来啊！
“如能把南满铁路收归国际管理，中东铁路我也宁愿牺牲，交归国际管理。倘若不然，只把一个中东路收归国际管理，我姓张的是极端反对，无论它是什么国家，怎样决定的，我张作霖是绝不听那套的。”
张作霖郑重声明：“我就知道中东路是中国人的铁路，应当归中国人管理。（对中东路）我自有办法，总之，我是绝不放松的！”
1919年11月，霍尔瓦特重返哈尔滨，并且称中东路附属地内的俄国人仍拥有国家统治权。吉林督军鲍贵卿而后致电霍尔瓦特，请他收回自己所说的话，因为“中东铁路系中国领土，中国自有完全主权”。
一招不成，霍尔瓦特又来一招，说至少中东路附属地内的军事和行政权应归他统辖。中方回应：霍尔瓦特仅为铁路总办，无担负国家统治的职能。
欲收回中东路权，必先驱逐霍氏，成为东北各界的共识。1920年3月12日，哈尔滨三十多个工人组织联合向霍尔瓦特发出最后通牒，要求他在二十四小时内辞职，而且“霍氏一日不去，路工一日不开”。
其实从苏俄新政权的角度来说，霍尔瓦特早就失业了。发现这老毛子仍然死皮赖脸地不肯走，3月16日，鲍贵卿下令全面接管哈尔滨及中东路沿线的俄国军警武装，霍尔瓦特被迫下台。当天张作霖亲自赶到哈尔滨，在他的授意下，鲍贵卿限霍尔瓦特三天内必须离开哈尔滨，不准再回中东路。
至当年年底，中国政府先后收回了中东路的警权、司法权、行政权，中东路附属地被改为东省特别区，由中国派驻行政长官进行管理。尚未收回的只剩下了中东铁路本身，北京政府准备借款赎回，但遭到张作霖的强烈反对。
张作霖在对苏俄交涉上，向来“无所屈挠”。他曾发布宣言说：“中国对新党守局外之中立，新党对于中国主权内之事项也应格外尊重才是。”言下对“新党”几次三番宣称要把中东路还给中国，可始终口惠而实不至很是不满。
不过话又说回来，“新党”起码有了这样的表示，那就是可以谈了，为什么还要再向别的国家借钱来赎呢？张作霖因此认为：“当务之急是以保护东北的边界为主，至于借款赎路关系到中国主权，我决不承认。”
自“满蒙独立运动”失败后，日本为维护其在东北的既得权益，不得不转而支持张作霖，奉系与日本的关系较为密切，这是毋庸置疑的。同时，鉴于张作霖草莽出身，没有多少现代知识，甚至哪一省在哪里都不知道，日本人最初也以为对付起来困难不大，没有料到张作霖的算盘其实精得很。
在与日本打交道的过程中，张作霖的一贯处事原则是：小权小利可以让的好商量，有关国家命脉或地方安全的，想都别想！
日本向北京政府大量借款，其中有很多涉及东北权益，比如“吉会铁路筹备借款”“吉黑两省农矿借款”“满蒙四路筹备借款”等。日本要求东北方面履行条款，张作霖来了个概不承认，让日方直接向北京政府进行交涉。这些借款的条件都非常低，抵押品不过是森林、电线之类，张作霖既不履行，北京政府也顺势拖延，日本两边都无着落，只得哑巴吃黄连，自认倒霉。
自近代以来，对日交涉向来是东北执政者最感棘手的问题。张作霖之所以能够做到长袖善舞，与他善于用人有很大关联，在对日外交上，他又特别重用了两个人，其中一个是杨宇霆，另一个是与杨宇霆关系非常密切的常荫槐。
杨宇霆的政治外交手腕非常高明，“在东北当时的要人中是一个不可多得的人才”。他对日本的内情知道得很清楚，有许多日方情报供给来源，也因此能够对症下药地与日本政府进行周旋。平时张杨配合得相当出色，每当日本向张作霖提出某种苛刻要求时，张作霖就会以“好，好！我叫杨某来办”的话作答，如果对方想索取书面保证，他便装文盲，以自己不通文墨为由加以拒绝。后来苏联学者经过研究认为，张作霖在统治东三省期间，之所以始终未与日本签订任何正式协定，就是“因为遭到杨宇霆的强烈反对”。
只要张作霖不立字据，杨宇霆总有办法使日方打消、变质或将相关损害减至最低限度。这一方面是因为杨宇霆了解对方底细，掌握着他们的价码和能够容忍的最低限度；另一方面也是他和张作霖对日本政客进行多方联络乃至于“收买”的结果。九一八事变后，日军从奉天省府档案中发现，日本要人以至于政党竟然多数都曾从张作霖手里拿过钱！
什么叫手腕，就是他明明很强硬，但还不让你觉得他讨厌。和杨宇霆打过交道的一些日本人对杨宇霆的评价都不低，本庄繁常说：“日本没有像杨宇霆这样富于正义感和能办事的人。”町野也说：“的确，杨宇霆很敢说敢为。”