当作为新郎官的张作霖回到军营时，甲午战争已接近尾声，日军突破鸭绿江防线，侵入东北。依克唐阿部首先兵败，宋庆又临危受命，率毅军接茬阻击。
当时中国军队虽然在装备训练上落伍，但日本陆军也刚刚训练成功，还没有什么作战经验，在和毅军对垒时并不占有绝对优势。比如有一次在平地作战时，毅军把一座院墙推倒，埋伏在墙里面，以院墙作为掩护，向日军射击。日军一拨拨被打倒，最后想出一个办法，由左右两边分别实施突袭，才迫使毅军撤出阵地。
还有一次，毅军占领了一座大沙岭子。由于指挥得当，火力凶猛，日军好几天都攻不上来。眼看战局可能扭转，半夜里忽然起了一阵大风，沙岭子上面顿时飞沙走石，吹得人眼睛都睁不开来。等拂晓日军再次发起攻势时，毅军士兵无法开枪，只得从沙岭子上退下来。当地老人提起这件往事时，都带着无限的遗憾，说要不是刮大风，日本小鬼再狠，也没法往上攻，沙岭子绝对丢不了。
在一本日本人所写的史话中，记载张作霖也曾亲身参与这些战斗。某夜，他一个人前去破坏日军的通信线路，不幸被捕。审讯时，他紧咬牙关，缄默不语，负责审讯的日军队长见状很感动，遂下令予以释放。
本来，这种英勇顽强、坚贞不屈的精神是应该得到鼓励乃至赏赐的，无奈，在东方国家只要你当了俘虏，再大的英雄也会被看成狗熊。张作霖归营后不但没得到一句好话，反遭到了上司的白眼和冷遇，这使得他想通过参军求得前途和发展的愿望彻底落空，很感灰心丧气。不久，随着中日签定《马关条约》，甲午战争结束了。毅军奉命移防关内，张作霖不愿随军入关，就开个小差，逃回了家乡。
回到家的张作霖仍然离不开赌场，经常和二哥张作孚一起混迹其中。兄弟二人因为耍赖还跟人打起架来，对方吃了亏，便到县衙门告状，说二人通匪。实际上，他们连偷偷摸摸蒙面打劫的事都没再做过，只是张作霖自己为了炫耀，时时吹嘘与胡子们关系不错，不幸就成了他们“通匪”的证据。
这回出手相救的是张作霖的老岳父。赵占元拿出一笔钱，托人作保，将张氏兄弟从大牢里放了出来。
对于已经“三进宫”的张作霖来说，现在唯一能够开颜一笑的也许就是在赌场上能够得意了。然而俗话说“久赌神仙输”，没多久他又输了，而且输得清洁溜溜，一文不剩。
就在他垂头丧气地往家走的时候，相邻的沙岭村有两头猪溜了出来，张作霖眼前一亮，就想把这两头猪偷去换钱。想不到的是，两位“天蓬元帅”是沙岭民团头目家的。这家人发现丢了猪后，派人四下寻找，张作霖被逮了个正着。随后他便被押回沙岭村，遭到一顿暴打。
好事不出门，坏事传千里，很快四乡八邻都知道了“张老疙瘩”偷猪且挨揍的事。张作霖颜面扫地，整日闷坐在家里，连最爱的赌场都不去了。
兵当不成，钱赢不了，在极度苦闷的日子里，那个一直对张作霖充满吸引力的隐秘江湖重又浮现在眼前。这正应了那句话，“狗逼急了咬人，人逼急了为匪”，不错，当“胡子”有被抓捕乃至杀头的危险，可是人过得潇洒啊，至少不用担心挨饿或被人羞辱。
发现张作霖竟有了入草为寇的念头，岳父赵占元第一个站出来反对，但哪里拦得住，张作霖终于还是选择了剑走偏锋，铤而走险。
要做“胡子”，当时有两个渠道：一是占山为王，黑话叫“起局”，一是入伙，黑话叫“挂柱”。“起局”得有“局底”，也就是枪支弹药这些家当。在那兵荒马乱的岁月里，为防匪患，有钱人不是请官兵护院，就是自己出钱养兵，组织“村团”“联防”之类杂七杂八的队伍，张作霖便在这个上面动起了脑筋。他听说大地主“武善人”家雇伙计，于是就跑去应征。
应征时，张作霖对“武善人”的管家说：“我只有一个要求，就是明天把我挣来的粮先送来，一年八石高粱，没粮折钱也行！”管家一听，这条件不高，就满口答应下来，双方还签了合同。从“武善人”家里走出来后，张作霖又到周围几个村庄的有钱人家转了转，并且以同样的方式和条件把自己雇了出去。
一共是八家人，收到他们送来的钱或粮后，张作霖先跑到黑市上买了一把十发手枪，接着便通知东家们来他家庆贺“上工之喜”。八个东家都派来了人，张作霖给来人每人倒上一碗白开水，自己也端起一碗，说起了开场白：“诸位一定纳闷，张作霖这小子穷死巴活的，今天咋这么肯出血，摆上八碟八碗两大件来款待各位呢？其实这是你们自己的钱！”
众人听了这话，大眼瞪小眼，都没明白过来。
张作霖说：“你们也不用瞪眼。我今儿个就是请你们来庆贺我入胡了的！是你们每人出了八石红高粱，不然我用什么去买这把枪呢！”说完，他拿出崭新的手枪，“吧嗒”一声放在了桌上。
在座的人大惊失色，谁也不敢吱声。张作霖把话题一转：“不过诸位，你们也不必胆战心惊。俗话说，好狗护三邻，好人护三屯，我入胡子是为了养活老母，一旦成了局，决不骚扰你们乡亲。”
张作霖说的倒都是实话，“胡子”有个规矩，即兔子不吃窝边草，或者叫好狗不吃门前食，平时不管如何作恶，总之不会打搅难为父老乡亲，这就是所谓的“人身为匪，乡情还在”。自然也免不了有坏了规矩，在家门口打家劫舍的主，“胡子”里面称他们为“邪胡子”。对“邪胡子”，一般立住脚的“胡子”视之为敌，只要抽出机会就会进行收拾。