李衍不急于赶路，因为他知道：京中吏部那些个官人也不急于安顿他的前程。他在安州待了下来，就住在驿所之中，瞬逾旬日因为看起来，此间的确是安顿家小的一个好所在。以迁转之间待职县令的身份派人查访，十分利便，很快就得着回音，李氏在当地的亲族果然不少；也有经商的，也有作牙人交际九流的，也有担任过多年胥吏，在地方上小有头脸的，也有初入仕途、风标焕发，看似颇孚仕绅之望的。其中一人，年方弱冠，名字与当朝一大老相同，曰“令问”。
先是，大唐开国之初有名将李靖，系出陇西丹阳一房，佐高祖为行军总管、抚慰大使，收岭南近百州之地，领百万之民，复大败吐谷浑，封卫国公，堪说是位极人臣了。李靖有同母弟名李客师，与秦叔宝、程咬金、尉迟敬德同列，颇树战功，劳绩勋猷，不减乃兄，累封至丹阳郡公。大约是在唐高宗永徽初年，才因年老致仕。
李客师厌征而好猎，近百岁无疾而终，死前不多时，犹能跨烈马、挽强弓。他在京师昆明池南建筑了一所别业，醉心于骑射，昼夜相从。京中人传言：自长安城区而外，西至澧水，一鸟一兽都识得此翁，每当他亲自出猎，漫天鸟鹊追飞噪鸣，山林间的小兽也纷纷出头窜走，有如随扈，人迳以“鸟客”、“兽师”的诨号呼之，而李客师也不以为忤。他是在总章年间一瞑而逝的，入睡前交代家人：子孙袭荫，百代不绝，莫与人争官爵，但于邻近名山大泽之处，圈地买山，广造园林，以花树为名，收引飞禽走兽。直到他的孙辈，都还谨遵这一遗命—他们在长沙筑杏园，在庐山筑栗园，在安州筑桃花园。李客师的孙子，就叫李令问。
开元天子当年还是临淄王的时候，便与李令问相当熟稔。李隆基即位，李令问以协赞有功，迁殿中少监。开元元年，还襄佐诛杀窦怀贞，因而封为宋国公，实封五百户。恩遇非比寻常，然而他始终没有忘了祖父的教训：若要官守绵长，就不能与人争功斗业。于是明明是个宽肥软弱的体格，却也仿效其祖，时时以游猎自娱，无论骑在多么威风的骏马之上，都显得沉重累赘，惹人讥讪不已。
李令问锦衣玉食而不干时务，外人视之，厚奉养，侈饮食而已。此时去武氏当国未远，朝廷重臣仍沿袭着嗤鄙肉食之人的风气，有人便劝谏李令问：“君宜少（稍）蔬食示人，毋为忌者笑。”李令问却说：“此畜豢，天所以养人，与蔬果何异？安用妄分别邪？”
也就是大半年之前，吐蕃袭扰瓜州，转攻玉门。河西节度使王君与铁勒四部在皇帝面前互诉恩怨，王君占得地利，先发制人指控：“四部难制，潜有叛计。”铁勒四部无从申辩，诬服定罪其中回纥部原封瀚海大都督的承宗，被流放到瀼州。承宗的族子名叫护输，乘势纠合党众，斩杀了王君，载着他的尸身奔赴吐蕃虽然护输随即败战弃尸而逃，然而唐廷丧师，颜面尽扫，非穷究深责不可，辗转攀牵，居然发现承宗一族有女与李令问的儿子结上了一门亲事。
李令问当下被贬，至抚州任别驾，原本是从三品的中朝大员一落而至于从五品的外州随官，李令问岂能不恼羞愤懑？到任不久，便一病不起。多年以来一路跟从李令问的一个歌姬，号明珠或恐忧心主家翁殁后自己无所托身，就在抚州邸中自缢殉主，此事相当罕见，当地耆绅还列之于地方志中，视为节烈。
考究事实，李令问与西北边关纠绞盘错的政务、战局一点瓜葛也没有，骤尔被逐，实远出于中外之望。李衍当然也风闻久矣却不敢置信，及至安州，他才从李氏宗亲的谈议间听说了另一桩大事。原来李令问在安州当地所兴筑的桃花园或许也保不住了。
桃花园占地不大，方圆数十亩，其间野生桃树数千本，错落自然，疏密有致。春来花枝齐放，殷红淡绯，壮美之极。此地还有一溪如带，蜿蜒自西北来，潺湲三折，复向东北而去，李令问承庭训买此山川，当然不是为了行猎，而另有他日后归隐林下的盘算就在铁勒四部被控阴谋造反，而吐蕃赞普与突骑施苏禄可汗共围安西城时，有感于边事变乱频仍，他还有一首感时之诗，题为《秋赋桃园有怀》，与此园有关。诗是这样写的：
穷秋驱雁伴行吟，一任幽蹊自在阴。塞鼓纷纭犹似昨，芳枝零落到如今。骑羊志意归云梦，射虎声名托野心。欲赴桃源无别语，差留闲墨付萧森。
首联描写时序，正是王君与铁勒四部相互攻讦起衅之际。“幽蹊”不消分说，自然寓有“桃李不言，下自成蹊”的意思，这蹊径，指的无非是桃花园。“塞鼓、芳枝”一联，分别侧写了本家祖上出身边关，以战功建勋业的来历，以及李令问不能光大家族名爵的些许叹息或惭愧。
“骑羊”二字，显然还是从刘向《列仙传》记载周成王时羌人葛由刻木作羊、并乘木羊入西蜀绥山的故事而来。因为追随葛由登山的王公贵人皆不复还，后人便以“骑羊”为得道成仙的代词—这就表示李令问确实有一份亲近道术、欣羡神仙的情怀。以下“射虎”二字，按诸李令问之祖李客师毕生射猎的事迹，也可以窥见李令问所归心适志者，不在积极进取；其中“野心”二字，指的是闲散恬淡的性情，犹如《宋书·王僧达传》所载：“尔时敕亡从兄僧绰宣见留之旨。闇疾寡任，野心素积，仍附启苦乞且旋任。”
尾联上承前六句作结，述说自己对于前途的瞻望，大约就是归隐山林，闲著文墨。这本是所有身居要津者刻意作放旷之思的口头禅，慨然有归志，以示不恋栈功名权位，老生常谈罢了。可是坏就坏在两个关键的字眼：一个是“野心”，一个是“桃源”。
当台谏诸官拿李令问与回纥部的承宗联姻作文章的时候，偏以为“射虎声名托野心”足证是李令问不甘寂寞，要与前文中喧填塞鼓所从来处的铁勒四部夷狄之人共谋，以图恢复当年李靖、李客师一家“射虎”的霸图。至于“桃源”，在字面上其来有自，原本是陶渊明的《桃花源记》。《桃花源记》里索居于桃花源中之人是为了“逃秦”而自逐于武陵的。但是大唐太宗文皇帝在藩邸时即封秦王，逃秦，难道是要逃离李唐的江山吗？
桃花园、桃花源，固不同义而巧为罗织成一义，实在欲辩无言李令问当时还不知道自己阳寿无几，犹思不再招惹物议，以图日后出入清安，遂于外放抚州就道途中，修书一封，饬令家人从速将安州桃花园物业重为安顿，把先前起造的几栋楼宇都拆了，只留下临水处三数亭台，并刻意间杂地栽种了千百株李树，连园子的名目都改换了—桃花园从此改称桃李园。李字既是树木之名也兼表姓氏。
李令问本家之人多集居于雍州三原，以及长安、洛阳两京繁盛之地，距离这一份别业，不止千里之遥，且多视此园为得罪之由以为大不祥。然而祖训言犹在耳，家产又不能荒弃不问，如何保守的确是桩恼人的事。倒是在李令问病故之后，喧腾了一段时日，安州在地的李氏宗亲却给出了一个主意：桃李园毕竟不是野处，台榭得有人修葺守护，花树也得有人栽植疏伐，可巧城南便有一家子弟名字也叫李令问，看来天意巧合，如能让那年轻的李令问自以家资缮理园务，而使千万株桃花李花春日繁荣，同兆两郡家业昌兴岁岁年年，不也是一桩美事？在安州诸李族亲看来，当朝大员身后遗命，平白奉赠一片园林，这更是求之不得的事。于是桃李园之所归隶，也就一拍即合。
李衍也看上了桃李园。
这是一个相当别致的所在。信步游观，揣摩原先的主人翁，应该是个清怀肆志之人。当初指点起造时，有意节制房舍，并没有寻常高门大户人家那些复道重楼、雕甍画栋的排场。从尚未拆除完竣的楼宇废墟可以看出：每屋间架都不十分深广，栋梁敷设较密，可见没有扩充厅堂、大延宾客的需求。但是李衍却想在此地大延宾客：他要借由这个园子，让安州李氏宗亲融入在地的名门士族；也要借由这个园子，让他那有才无分、有学无求的侄儿李白融入安州李氏的宗亲。
能让桃李园在众目睽睽之下，转入新人之手，大聚地方名士，诚属必要。李衍商借桃李园的事十分顺利，邀集李氏诸家子弟也不难。唯独于他姓士族也能与此高会，则实属不易。可是出乎他意料之外，机缘送上门来—就在新正之日，驿长来报：有名薛乂者，号曰员外，携酒来拜。
员外郎或简称外郎，或节称员外。在南北朝时，专指那些近侍皇帝的员外散骑侍郎，密迩天颜，地位尊贵。到了隋代，便开始在六部郎中之复下设员外郎，以为庶务之推行实任，地位便忽然低落了。在唐代，此官位列从六品上，属尚书省六部二十四司，仍为郎中的副贰。但是还有一种员外，是以看似谦逊的说法，掩饰身为地方胥吏的佐杂身份—称员外者，不是真指员外郎，而是员额以外的省称，这样就模糊了胥吏低微猥贱的身份，却也不能算是明目张胆冒充高官。李衍一看名刺上是员外，而无郎字，便推侧对方与自己的出身并无二致了。
春正时节携酒访旧，本来是寻常；但是在这样一个日子上，奉春酒于素昧平生之人，则必有请托。尤其是对方还先遣仆役送来了不多见的礼酒，分别有五提，各为容量三升之觯，堆放在门边楹下裹以红漆皮封。这表示送礼的人早在年前就准备妥当了，否则仅此一番装饰的手脚，也得搬弄大半天。从壶中之酒，更看出来者极有诚意，那是上好新酿的屠苏酒，觯壶周身缀满了珠圆玉润的水滴近旁地上也渗开了黑殷殷的水痕，显示酒是密封之后，浸泡于井中相当一段时日，特为于此日打捞出来的。
当下李衍迎进礼酒，收执名刺，与来访仆役约订节后再见之期届时薛乂果然依约而至。初看第一眼，李衍就觉得与此人颇为投缘—但看他头顶净巾，足踏云履，一身浅蓝单布袍，外罩玄素长帔，肘后悬剑似的挂着一柄红伞，恰似一个眉目清朗的在家道士。
见面还说不上几句寒暄的话，薛乂坦然道明来意：他是广陵人的确如李衍所料，乃从胥吏出身；日后也和李衍履历略同，经过流外入流的曲折，在荆、襄一带州、县，做过几任县尉、参军，由于深慕道术，遂早早地弃职归里，之后复远游天台山，投玉霄峰白云宫司马承祯为徒。
自客年夏、秋之间，薛乂即受命于宗师，四出云游，遍过昔年历任官守诸州，俱是江南江北洞天福地，往来殊方道者，相期相交以辩以论，广通妙谈，结为盟好；这是上清派多年来的一桩始终未曾间断的使命。除此之外，便中还要“访一国士，作合一桩因缘”说到这里，薛乂缓了口气，四顾再三，才低声道：“令侄李十二白便是某师所欲访得的‘国士’。”
“作合因缘？”李衍不觉有些讶然，叹道，“此子日夜歌酒成欢以为平生快意，不过如此。莫道以国士之业相许，即以常人婚娶稽之，恐亦不耐。”