神宗自然不肯，后经力求，方允轻车简从，驰驿前往。常见减了又减，随行人众仍有五六十人之多，这还是私自作主，没照旨意去办，心中实是厌烦。上来想起泰山、孔林之胜，意欲绕道往游。不料地方官早已得信，知其皇帝爱子，格外讨好，所过之处，官府前接后送，绵亘不断，不论走到哪里，都跟着一大批人。既觉铺张奢侈，耗费民心，心中不安，又觉游山玩水，风雅之事，此行志在选胜登临，增长见识，寻访山中高人隐士，就便访查民间疾苦。照此前呼后拥，人都不得自由，人民更无一人敢于近前，就有怨苦，不得相见，如何考间？

　　最可气的是两件事：听两位心腹武师暗中查访，这一路之上，人民在苛政暴力与贪官污吏、土豪恶霸压榨之下，已不聊生，怨声载道，而沿途官吏偏在粉饰太平，歌功颂德；有那无耻之徒，明明民无尽藏、人有菜色，偏说是政通人和、弦歌不辍。还有一件，便是自己走到哪里，跟到哪里，入山稍深，峰崖稍微高峻，这班无能的贪官不说他酒色荒淫，无此精力，爬不上去，却说：“殿下万金之体，不应登高临深犯此危险，万一风雨暴作，野兽出没，受了虚惊，岂不上负我皇万岁慈爱之意？我们当臣子的不能力谏力争，也是有负皇恩，罪该万死。”

　　说时仿佛慷慨激昂，如不答应，恨不能以死来争。先还不好意思不敷衍他们，后见沿途所遇都是这些口是心非的无能俗吏，实在气他不过。等到对方絮聒不已，以死自誓，好了装不听见，各行其是；有时心太讨厌，便说：“游山并非恶事，你既如此忠心，仿佛此举不知关系多大，你真照你所说做出一个样儿，我立时回京，不再出门如何？”

　　自己原是一句赌气的话，可笑他们话已出口，自会收回，连像平常妇女赌气要挟假装自杀俱都不敢，立时改转口风；脸皮薄的还咬了牙齿陪同前往，累个满头大汗；几个老奸巨猾、脸厚无耻的大官，索性设法取巧，想了种种花样和假话，自己逃去，但恐万一出事无法对待，却令手下小官随同护送，明暗都有。

　　经此一来，山中居民早被轰开，一个人也遇不上。就有高人异士，看见自己大队人马游山这等俗恶势派，也早避开，如何能够寻见？连去儿处都是如此。越想越恨，断定照此下去，休说访问民间疾苦，连山也游不成，实在气得没法。少年任性，也未细想，到了河南，游完汴梁，便和豫藩商计，将所带的人留在河南，假托养病，仍照原来心计，只带两个心腹武师，微服上路。先顺黄河入关，饱览西岳、太白之秀，取道秦岭经褒斜栈道入川，游完岷、峨诸山，再改水路，由嘉陵江顺流而下。为防所带的人随后追来，想作畅游，便对豫藩只说要去私访，就便入川，也未明言去处。不料走了不久，王母忽死，照例自要驰驿飞报，催令奔丧。

　　常这时正在嵩、华二山一带登临逍遥，没有随行臣僚和地方污吏烦扰，觉着心身清快，高兴非常。同行二武师，一名部祥，一名王子端，均是武当派新下山不久的少年英侠，因听小王礼贤下士，为了一桩善举登门求见，因而结交。年纪只大了三五岁，本领虽高，无什经历，官家的事自不明白，本就不耐随从官吏日夜趋奉、酒肉丝竹之扰，巴不得小王离开他们。上来未作主张，反觉小王大富贵中人，居然念切民生，志在山林，实是难得。常又是入山惟恐不深，所至流连。等到游完嵩洛，转入大华，部祥比较持重，想起游山日久，小王与官家始终未通一信，又是私自出走，万一朝廷有什旨意，岂不误事？便和常说起，欲往探看。

　　常初涉名山，沿途又交了两个高人隐士，正在兴高采烈，恨不得由此长住山中，不与世接，早把皇子尊荣忘了一个干净，人又任性，这些话如何听得进去？笑说：“我平日和飞鸟一样关在笼内，一举一动都不能随便。所见的人，除了皇亲国戚就是朝中大官，左右老有一群讨厌的人跟着，想在风尘中交两个好朋友都办不到，终日烦闷。好容易得脱樊笼，清静了两三个月，如何自寻烦恼，去惹他们？如今父皇多病，不能上朝，任凭几个太监权臣勾结，闹得天下荒荒，黎民涂炭。

　　我年纪太轻，无法挽救，看了空自气愤，途中看见民生疾苦，两次飞骑入奏，音信皆无。可见走时父皇虽有望治之心，无奈权阉把持，受害已深，下情仍是不能上达。母亲告诫之言，果然料中。照我途中所见，早晚非有大乱不可。就这一路之上，为了身带金银太多，便遇见好几次盗贼。如非二兄同行，几难脱身。官道附近尚且如此，边远之地更不必说。想起寒心，真恨不能从此入山不归才好呢。”

　　部祥劝他不听，便说：“小王如不回去，我们约好地方，我往一探如何？”

　　常仍是固执不允。

　　三人重又前行，小王既是虚心好友，郜、王二人同盟师执又多，互相引进，交结了不少异人奇士。光阴易过，不觉又过了大半年。这日走到秦岭，部、王二人因听同门师兄说起小王失踪，朝廷得知之后，疑心死于盗贼和虎狼之口，曾经命人到处搜寻。因为官府庸懦无能，地方上盗贼又多，越来越凶，随便敷衍，一直传到四川，访问不出音信，就此成了悬案。王母已早安葬，豫藩和随从官吏全受处分。幸而豫藩常与权阉勾结，只夺了半年俸，连随从皇官也都占光，未出人命。

　　常出京时因想救济贫苦，曾将神宗所赐金银连同自己私财装了两大箱存在豫藩府中，尚未奏报。部祥探明连忙赶回。事有凑巧，常因在秦岭深山之中遇到风雪之险，往庙中投宿，又为贼党所困。蒙一侠女相救，乃青城派女侠虞南绮的弟子杨琼蕤，将他二人救往家中。常受伤较重，幸蒙琼蕤由五百里外取来灵药，方始治愈。双方由此发生情爱，成了夫妇。郜祥不知二人途中停留，先往约会之处寻访不见，又往回找，耽搁了好几天才得寻到。

　　常一听母亲已死，朝廷越发昏乱，悲伤已极。自己日前又聘有王妃，新婚之际，越发不舍回去。本来连所剩金银都不想要，后经男女三人劝说：“如今各藩王府中都是珠宝山积，豫藩隐匿不报，必想吞没，供其骄奢淫逸。听说褒城过去深山中颇多膏腴之地，如今穷人这多，强横者铤而走险去做贼盗，一班安善良民只好坐听官绅恶霸宰割，民不聊生。何不由你写下一信，将那两箱金珠取来，一面救济穷苦，一面觅地开垦，先开出一片世外桃源以作根基。遇到机会，推广出去，固然可以遂你平日救世济民心愿。即或不能得志，也使许多贫苦人民脱离水火，安居乐业，岂不是好？”

　　常一听有理，便命郜祥拿了书信赶往河南，夜入藩邸投信。

　　豫藩人本忠厚，虽起贪心，因部祥话说得巧，语多挟制，不将银箱交还，便要反咬一口说他图财暗害兄弟，当时答应，另外还送了一份重礼，令其转告小王说：“此事几乎闹大，如再回京，必要兴起大狱连累多人，本身也有好些不便。既然志在山林，又娶了这样文武双全的王妃，终老山中，享受清福，也是佳事。以后没有钱用，只管来要，却是回来不得。”

　　郜祥一口答应，讨了一封回信，商好运走之法便即走去。豫藩忽然后悔，无奈亲笔书信落在部祥手中，又见来人行动疾如飞乌，来去无踪，虽是深夜，也有不少守卫的人，偌大一座王府，并无一人惊觉，想起害怕，只得如约行事。索性人情做到底，银箱以外，又将小王遗留的珍贵之物并在一起，放在后园偏僻之地，将人调开，不许闲人入内。

　　郜祥事前早约好几个能手相助，重达几千斤的金珠衣物，次日一夜之间全都装成镖车运走，把空箱子留下，以免惊人耳目，路上连遇几次盗贼均被打退，费了好些事才行送到。男女四人便拿杨家作根基，到处寻觅开垦之处。后在间中附近万山深处寻到大片盆地，便是后来的芙蓉坪。先把途中所交异人奇士连同一些贫苦人民召集了来，一同隐居开垦。不消三年，互相引进，并在江西、湖南两省设下分寨，由诸侠士分途查访，只要心性善良、家道贫苦、无法安居的苦人，便加救济，引往聚集之处相待，再由专管的人引其入山。日月一多，居然开出好几万亩良田和好些湖塘森林。起初日用之物山中还嫌缺少，尤其盐糖之类，后经众人苦心设计，又发现两处盐井、火井，不特百物皆备，器用俱全，并有大量物产可以运往外方贩卖。

　　当地四面都是危峰峭壁环绕，只后山有一羊肠小径，蜿蜒峰崖深谷之间，入口一带危崖对峙，中通一线，幽深奇险，不见天光，前面又横着一大绝壑。常人决看不出，就能寻到，也走不进。中间既有森林幽谷之险，前面那条绝壑更是无法飞渡。虽有一条索桥，不是一定出入时期，连桥影都看不到。前面出口又是一座山洞，平坦好走，但那洞中甬道盘旋曲折，长达九里，到处钟乳奇石，上下林立，歧径又多。无人引路，走进半里，到了第二层关口，不是迷路便要遇险受伤送命。这两条路均有专人防守，设好机关，大片崖石均可移动，随时将路隔断无法通行。可是一到里面，便是桑麻遍野，沟渠纵横，稻田园地一年三熟，到处繁花盛开，香光不断，四时之间佳景无穷。气候又极温和，到了冬时，外面只管风雪交加，内里盆地之中仍是温暖如春。芙蓉花更是特产，比别处要大两倍，到了花开时节，漫山遍野灿如锦云。那好处也说它不完。

　　光阴一晃许多年，常夫妻和一班英侠同隐的人每日领头田渔畜牧、种花打猎、料量晴雨、男耕女织之外，不是登山涉水啸月吟风，便是约了同道分头出外，一面游山访友，一面救济孤寒。为了山中分工而作，限田而耕，大家一样，几个为首之人既要管理全山为民生利，又要随时出山救济苦人，一班人民感恩戴德，再三力请，说已然劳心太过，不能劳力。无奈从常夫妇起和一班同道都是强健多力，武勇绝伦，自来就喜亲自动手，躬耕劳作引为乐事，已成习惯，闲居安享反觉难耐。自家应有的田和备荒公田一样，早被人民抢先耕种，只得放下农作，专做有益人民、救济穷苦的事。