经过了这一件自天而降的尴尬事，黄金荣思前想后，极不心安，自己已经成为要打倒，被推翻的对象，而树大招风，毛落皮单，朋友出事一受牵连，岂非冤哉枉也，因此他决心退出名利场，回到黄家花园去闭关自守，安富尊容。──法租界当局畀予这位最资深的探份殊荣，请他再担任三年的顾问名义。
黄金荣这一次退休退得坚决而澈底，他公开宣告，从此不再参加任何应酬，不接受任何请柬。──事实上，他只维持了很短的一段时期
退休后生活悠然自在，抽抽大烟，聊聊闲天，每日下午总会有些老朋友来陪他打打「铜旗」，常到的牌搭子有范回春、杨顺铨、朱金芳、蔡鸿声、和马掌生。金廷荪更是不论怎么忙，必定日日跑一趟，于是黄老板非常高兴，时常在嘴上念着说：
「今朝不管别人怎样，歪鼻头是一定来的。」歪鼻头，是他自己给金廷荪取的绰号。
及至金廷荪果然风雨无阻的来了，黄老板不分人前人后，都会喜欢的搓着手说：
「廷荪不忘本，他是天天来的。他还跟以前一样，天天来上班。」
和金廷荪行程鲜明对照的，是杜月笙难得来一趟，而且每回都是来去匆匆，坐坐就走。这一层在杜月笙来说：他有三层原因：第一、他太忙，确实抽不出空闲时间，第二、他因为食少事繁，身体不好，虽然不常病倒，却是很怕劳动。第三呢，则是由他和金荣哥没有共同的嗜好，他不会打「铜旗」，而像他那样跟钱有仇的豪赌，黄老板也断乎不愿领教，凡此，都使他觉得在黄公馆里坐不住。
俗谚有云：「苏州铜旗，急天急地」，因为铜旗的赌法文雅，赌局进行缓慢，输赢也不会太大。所以，性子急些，想收立竿见影，翻牌见钱之效的嗜赌者，多半耐不住心来玩它。而打铜旗的朋友，也通常都是打打谈谈，说说笑笑，有以享受双重娱乐，消磨时间。
谈天说地，免不了要触及外面的时事与新闻，谈来谈去，杜月笙和张啸林两个名字经常都在提起，张啸林不去管他，黄金荣早已把他从心坎上一笔勾去。但是听到杜月笙，黄金荣不禁会兴起热切盼望和──轻微的惆怅这两种心理加将起来，他每每会脱口而出的埋怨一句：「小囝，当我呒介事啦！」
有些人存心挑拨有意离间，还有些人推波助澜。最低限度，黄金荣正式退休以后，在他身边的那些老朋友，很少有为杜月笙说两句话，解释解释的。「老小老小，越老越小」，黄金荣和杜月笙这么样一对肝胆相照，休戚与共的老弟兄，往后的渐形疏远，怨声时起，多一半是若干人利用机会，以间疏亲，剩下来的原因，仍还得归咎于黄金荣自己老小老小的「小囝脾气」。
举一个例，以杜月笙当时名满天下，望重江南，他已非当年布衣渡江，三餐不继的吴下阿蒙可比，但是黄老板发起他的小囝脾气来，往往当着那些唯恐巴结杜月笙不上的老朋友们，冷讥热嘲，抽底揭皮，使杜月笙啼笑皆非，下不来台。曾有一次，黄金荣当着众人的面，对杜月笙施以当头棒喝：
「月笙，我劝你不要这样多用心计，免得短寿促命！」
或则，在大庭广众间肆意说笑：
「我三十六岁的时候认得杜月笙，后来拨只赌台喊他去吃份俸禄。你们晓得他拿几个钱一天，哈哈！一天一只洋！一天一只」
或者─
「月笙，你现在做了几十家银行公司的董事长，总经理，你记不记得？你头一次当董事是在民国十年，我在杀牛公司茄勤路，由源焘出面办不收学费的金荣公学，我当董事长，喊你当一名董事。」
杜月笙当时竭力忍耐，向他的金荣哥陪笑脸，连声应是，事后却久久难于释怀。为了避免自求其辱，他渐渐的视黄家为畏途。
由于杜月笙的尽量容忍，他跟金荣哥断乎不会发生正面冲突，但是黄杜两系的门生弟子，这时候却已貌合神离，泾渭分明，渐呈分裂之势，为了利害冲突，明争暗鬪，尤所难免。
一日，黄金荣的学生，陈培德突以被捕闻。捕陈者恰巧是杜月笙的门人，这一来，使黄金荣新「仇」旧憾，齐集心头，他怒冲冲的命人将月笙喊来。
杜月笙踏进门槛，喊了声金荣哥，黄金荣却欹在床上大抽其鸦片，故意不理不睬。这一头，杜月笙眼见金荣哥脸色不对，立刻搬出二十年前的老规矩，老板有气，他「小伙计」便恭恭敬敬的立在那里，等候老板的斥责或发落。
试想当时杜月笙已是甚么样的身价？自南京来的庙堂人物，达官显要，在黄浦滩的富商巨贾，绅士名流，倘若有事相商，都得事先约好了时间，届期登门求教，间或碰到不巧，还要在会客室里候一候，一般人偶获承颜接词，莫不沾沾自喜，欣然语人：「今日极获杜先生青睐有加」，彷佛最大的荣耀。─然而此时此刻，杜月笙喊金荣哥，黄金荣不理，他便直挺挺的站在鸦片烟榻前，诚恐诚惶，屏息守候。他一站，黄金荣大烟间里的客人，不分男女老幼，辈份尊卑，全部不约而同的站起来。黄金荣眼角里瞟见，犹仍大喇喇的说：
「你们各位坐呀！」
客人们当然不敢坐下，一屋静悄悄的，只听到黄金荣的鸦片烟枪嗞嗞嗞响，杜月笙纵有十万火急的事，卽或头昏腿酸站不下去，他仍然咬紧牙关，竭力支撑，他希望由于他所表现的恭驯，使他这位老把兄息怒霁威，回嗔作喜，有事何妨吩咐一声，他是绝对会得遵办的。
三筒鸦片抽足，黄金荣顺手抄起小茶壶，骨嘟骨嘟猛灌几口酽茶，这才重重的将空茶壶一放，虎的翻身坐起，瞪起一对大眼，双手扶定榻沿，伛身向前，声声冷笑的说
「好啦！我现在人到了漕河泾，要打要杀，但凭你们的高兴！」
杜月笙低声下气，涩涩着笑着说：
「金荣哥有甚么事情，只管交代下来，何必说这种气话？给外人听到了，信以为真，我们这般小兄弟还想做人吗？」
黄金荣又是气势汹汹，大肆咆哮：
「分明是你们在跟我过不去，要我黄金荣的好看！」
「那个敢呢？」杜月笙轻轻的说：「金荣哥，你好把事情说出来了，我在这里听候你的吩咐！」
「我问你！」黄金荣余怒未熄：「陈培德犯了甚么案子？」
陈培德是黄金荣的学生子，犯了案被关进淞沪警备司令部，杜月笙根本毫不知情，他听黄金荣这么一说，当场打电话回去，命人立卽查报。他要在电话机旁边坐着等回音。时间在一厅愕然中过去，杜月笙神情自若，一脸坦然。一会儿电话打过来了，将陈培德因何被捕？如何罪证确凿？被甚么人下令？甚么人动手捉的？此刻关在甚么地方？「待遇」如何？一五一十，详详细细报了来。
放下电话，在座的人以为杜先生一定会理直气壮，向黄老板声明此事与他无关，黄老板应该责问的对象，应该是淞沪警备总司令杨啸天，而不是他闭门家中坐的杜月笙。老板不分青红皂白，跟他发了这么大的脾气，杜月笙大可趁此机会，埋怨几句。
但是杜月笙其所以为杜月笙，他的过人之处卽在于此，放下电话，他转脸朝向黄金荣，照旧神色不动，温文平静的说：「金荣为甚么事体发脾气，我已经晓得了。请金荣哥放心，我一定会去替金荣办好，我决不会让金荣哥失面子。」
黄金荣一怔，厅众各人一致叹服，黄金荣给杜月笙吃一顿冤枉排头，杜月笙不声辨，不抱怨，反而温婉的劝黄金荣放心息怒，甚至口口声声的以金荣哥的面子为重。这是何等的胸襟，何等的仁义？
这时，满天星斗一廓而空，在场的朋友，心知不会再有好戏看了，因而假惺惺的迟作调人，他们以劝和的姿态，拉黄金荣往外走，同时七嘴八舌的说：
「杜先生答应过了，老板还有甚么不放心的？走走走，我们去打铜旗吧！」
黄金荣只怕是心中很不是滋味，他被众人簇拥，经过杜月笙的身边，他瞟他这位仁至义尽的把弟一眼，为了自下台阶，嘴里还在恨声不绝的说：
「这桩事体不给我办好，我就上南京见蒋总司令！」
传说多年的黄、杜失和，两家恩怨，如果以上所举的事例而言，失和固非事实，恩怨更谈不上，小不愉快诚然有之。不过由于杜月笙的竭力忍耐，以柔克刚，许多尴尬场面，都能化险为夷。其实，晚年的黄金荣，对杜月笙并没有甚么不满意，更不曾发生过利害冲突，闹来闹去，无非黄金荣退休以后，老年人的情绪问题而已。