坚尼地道杜公馆，和任何一处杜公馆不同，那便是坚尼地道门庭冷落车马稀，三四十年来杜氏门庭的热闹风光彷佛已成陈迹，这并不是说杜月笙落日余辉，苟延残喘，竟被各界人士所冷落忽视，而是他一则抱病，一则也由于大陆局势急转直下，香港是国共双方都在公开活动的是非之地，他有心避一避风头，躲一躲纠缠。刚到香港不久，杜月笙便请袁树珊给他看了个相，当时，袁树珊曾慎重其事的说：
「杜先生，最近一段时期你最好闭门谢客，任何人都不见，否则的话，恐怕会有是非。」
旨哉斯言，正中杜月笙的下怀，于是他命人写张条子，贴在房门口，词曰：「遵医嘱，碍于病躯，谢绝访客。」
条子贴出，倒也蛮有効力，却是有一天，张公权来访，一脚踏进了房间，要好朋友，杜月笙不得不力疾待客，从此以后，病中谢客的「规矩」为之破坏。
张公权在香港时，当地的华侨日报对他不太友好，刊登出来的消息，于张公权相当不利，因此张公权往访杜月笙，托他设法向香港新闲界的朋友打个招呼，杜月笙还是叫李裁法负责连络，李裁法在这件事土又露了一手，他寻到写张公权新闻的那位朋友，开门见山的告诉他说：
「张公权先生是杜先生的朋友，请你帮帮忙，不要再登张先生不尽不实的新闻。」
那位记者久仰杜月笙的大名，听李裁法这么一说，当下便一口答应，自此不再发布不利于张公权的消息，但是他提出一项相对要求，他想藉此机会，见一见名扬四海的杜月笙。李裁法晓得杜月笙自定的「规矩」，很觉为难，不过那位记者朋友实在是出之于一片虔诚敬仰之心，迫不得已，他祇好去跟杜月笙报告，讵料杜月笙也是面无难色，加以应允，抱病接见了那位记者，于是又破了一次例，不过后来张公权、李裁法，和那位记者杯酒言欢，尽释前嫌，杜月笙就没有再参加了。
民国三十八、九年间，在香港长住的杜月笙，虽然怕麻烦、怕纠缠，可是他那颗爱热闹的心，却并未因健康太差而予稍减，卽令气喘咻咻，爬不起床，每天还是巴望看家人亲友多走动，常来来。
每天一早，多半是小八股党硕果仅存的老兄弟顾嘉棠头一个到，他是专程前来打一个转，问声月笙哥昨夜困得好?？今早阿曾起来吃过物事了？风雨无阻，问过便走，并不一定要见到月笙哥，等歇到了快吃中饭的时候，他如果没有应酬，这顿中饭便十有八九在杜家吃，杜月笙精神好，他便陪陪杜月笙，不然的话，就在外面饭厅陪陪杜公馆的熟朋友。顾嘉棠一生一世对共产党绝无好感，上海沦陷以后，他一提起共产党便破口大骂，恨透恨透，他说祇要共产党在上海，他是宁可死在外头，也决不会回转去受罪的。
跟杜月笙、顾嘉棠抱着同样坚决反共态度的是金廷荪金三哥，金延荪这次逃难，逃得非常之彻底，全家大小，四儿四媳全部搬到了香港。他也是抱定主张，绝对不跟共产党打交道，殊不料他的夫人怀乡情切，不耐客居，也不晓得听了什么人的蛊惑挑唆，居然跟金三哥老夫妻俩意见分歧，各行其是。金老太太不顾一切的带了三个儿媳妇，四名女将由香港开回了黄浦滩，杜月笙、金廷荪、顾嘉棠一般老兄弟再三苦劝，劝不动这位金三嫂。照金三嫂的意思，她坚持要把四名儿媳一道带回头，幸好大少奶在香港医院中待产，总算免于同行，少受了一番波折与磨难。
金三嫂带了三位少奶回上海，实使杜月笙、金廷荪担尽惊吓，大费手脚。因为金三嫂回上海后住在杀牛公司附近朱家木桥的金公馆，平安无事了一段时期，共产党狰狞面目暴露，展开了清算鬪争、三反五反大屠杀，朱家木桥一带每天都有满载死囚前往市郊处决的卡车过，吓得金三嫂心惊肉跳，险乎得了神经病，金三嫂托人想办法打张路条，自己先逃回香港，留下三位少奶陷身魔窟，而其中的四少奶正是杜月笙的次女杜美霞。