裴矩别名弘大，绛州闻喜县人。父亲名讷之，北齐时官至太子舍人。裴矩尚在襁褓之中，父亲就去世了，长大之后爱好学习，富于文采心计。两度在北齐高平王府任文学。北齐灭亡了，无处任职。当时隋文帝杨坚任定州总管，聘任他为总管府记室，因母亲去世离职回家守孝。文帝登位，提升他为给事郎，主管内史舍人的事务。文帝征讨南陈时，裴矩任元帅记室。南陈灭亡后，诏令裴矩去安抚岭南各州，还没动身，高智慧等人叛乱，道路不通，文帝不便下令发兵，裴矩要求迅速出发，文帝同意。人马暂驻南康县，集聚了几千兵卒。这时，俚族统帅王仲宣进逼广州，派遣他的另一支队伍围攻东衡州，裴矩和将军鹿愿赶去救援。叛军构筑了许多营垒，驻扎在大庾岭，裴矩进攻，打败了叛军。叛军害怕，撤去了东衡州的包围，据守愿长岭，裴矩又打败了他们，斩杀了叛军主将。裴矩从南海县直奔广州，王仲宣胆怯，四散逃走。于是安抚了二十多个州，秉承文帝旨意任命当地主帅为刺史、县令。回京报告战绩，文帝非常高兴，诏令进殿慰劳他。授予开府头衔，封闻喜县公爵号，各按等级赏赐财物。后升任内史侍郎。当时突厥强盛，都蓝和突利结为怨仇造成祸乱，多次侵犯边境，文帝诏令太平公史万岁任行军总管，从定襄道出兵，任命裴矩为长史。打败了突厥达头可汗，而史万岁却被处死，裴矩的功劳没有被认可。
回京后任尚书左丞，改任吏部侍郎，以称职闻名。
大业初年，西域各国都到张掖县城开展商贸活动，炀帝杨广命令裴矩去监管。裴矩知道炀帝正在谋划吞并西域，就向各族商人考察各国的风俗习惯、地理环境，撰写《西域图记》三卷，包括四十四个国家，共分三条路线：北路从伊吾开始，途经蒲类、铁勒、突厥可汗的王宫，横渡向北的河流到拂林艹；中路从高昌、焉耆、龟兹、疏勒开始，跨越葱岭，途经钅发汗、苏对沙那、康、曹、何、大小安、穆各国，到波斯；南路从善阝善、于阗、朱俱波、喝..陀开始，也跨过葱岭，途经护密、吐火罗、挹怛、忄凡延、漕国，到北婆罗门。都到西海为止。各国之间也有大路通达。
回京后，献给了炀帝。炀帝把裴矩带进内宫，询问西域的情况，裴矩极力鼓吹：“西域有丰富的奇珍异宝，百姓世代定居，容易吞并。”炀帝从此醉心于征服西域，委托裴矩策划。后任命他为黄门侍郎，参与处理朝廷政务。
大业三年(607)，炀帝到恒山祭天，前来参加祭祀的西域国家有十多个。裴矩派人游说高昌王鞠伯雅、伊吾吐屯设等，用厚利引诱，使得他们归附了隋朝。
炀帝到西部边境巡视燕支山时，高昌等二十七个国家首领在路边拜见，要他们都佩戴金银珠宝，穿着丝绸毛料礼服，演奏音乐唱歌跳舞，命令青年男女穿上华丽衣裳纵情游乐，四周延绵几十里，显示中国富强。后来打败了吐谷浑，扩展了几千里土地，派军队去防守，每年运输物资的费用以万万计算。炀帝由于裴矩具有招抚外族国家的谋略，赐给银青光禄大夫爵位。炀帝巡视洛阳时，裴矩认为朝拜进贡的外国使节很多，婉言要求炀帝招集天下技艺高超的人，声势壮观地摆在皇宫正南的端门前边表演，穿着鲜艳丝绸、戴着金玉首饰的红男绿女十多万人，诏令文武百官和洛阳居民用绸缎装饰街道两边的房舍屋宇，穿上光彩华丽的服装。货栈商店都设置帷帐，摆上丰盛的美酒佳肴。翻译官员鼓励外国商人跟中国百姓做生意，所到之处都让店家请去吃喝，一起娱乐。外国来宾赞叹，说中国是“仙晨帝所(天堂)”。炀帝称赞裴矩忠诚，对宇文述、牛弘说“：裴矩的建议，都是我的心愿，我还没有说出来，他就向我建议了，如果不是全心全意报效国家，谁能做到这样？”他又帮助在伊吾筑起了城池，逼迫处罗归顺了隋朝。炀帝更加高兴，把貂皮袄和西域的珍贵器物赏赐给他。裴矩随从炀帝到北部边境巡视，视察了启民可汗的营帐。当时高丽派遣的使者已先到了突厥，启民可汗带领他拜见炀帝。裴矩乘机禀奏说“：高丽本来就是孤竹国，周天子把它封给箕子，汉朝把它分成了三个郡，如今却不做隋朝的属国，先帝憎恨它，老早就想讨伐了。在陛下这代，怎能无所作为？如今它的使者朝拜突厥，亲眼看到启民可汗全国都做隋朝的臣民，威胁它归附隋朝，是办得到的。请陛下当面命令它的使者，叫他回去告诉国王，如果聚众抗拒，就率领突厥军队一起讨伐。”炀帝采纳了他的意见。高丽不接受命令，征讨辽东从此开始。隋军两次征讨辽东，裴矩都参加了，由于立功，晋升为右光禄大夫。
当时法纪混乱，宇文述、虞世基当权，人们用贿赂手段升官，惟独裴矩坚守节操没有不洁的名声，人们很是称赞他。
裴矩根据始毕可汗兵众日益强盛的形势，建议定一名皇族姑娘嫁给叱吉设，扶持他称南突厥的可汗，分化突厥的力量。叱吉设不敢这样干。始毕可汗知道了这事，非常怨恨。裴矩又出主意：“突厥人头脑简单，容易挑起内部矛盾，不过王宫里有各族人才指导他们。我听说史蜀胡悉最有谋略，深受始毕可汗信任，请让我杀掉他。”炀帝说“：好。”裴矩于是诈称召见史蜀胡悉接受赏赐，在马邑县杀了他，通报始毕可汗说：“史蜀胡悉背叛您，是我们共同憎恨的人，现在已经杀掉。”始毕可汗知道真实情况，从此不再朝拜隋朝。后来炀帝巡视北部边境，始毕可汗率领十万骑兵将炀帝围困在雁门关，炀帝命令裴矩和虞世基住在行宫随时等待咨询。雁门解围后，裴矩跟随炀帝到了江都行宫。当时叛乱队伍蜂群般集结，郡县向朝廷举报的无法统计，裴矩报告了炀帝。炀帝发火了，派他回京，因为生病才收回了诏令。不久，高祖李渊进入长安，炀帝命令虞世基向裴矩询问对策，裴矩说：“只希望陛下早点回京，天下就安定了。”
裴矩性情勤勉谨慎，还不曾得罪过人，眼看天下开始动乱，对待别人特别厚道，即使是奴仆都得到他的好意。这时，炀帝的警卫将士多次逃跑，他很发愁，询问裴矩怎么办。裴矩说“：至今车马滞留江都已经两年，将士们都没有家室，人没有配偶，就不能长久安定，我请陛下听任将士们娶妻纳妾。”炀帝笑着说“：您的主意真多。”于是命令裴矩把江都的姑娘、寡妇都招集拢来，只要将士喜爱，就嫁给他，人们的情绪一下子稳定下来，都高兴地说“：这是裴大人的恩惠！”宇文化及杀死了炀帝，叛军劫持了裴矩。他们都说：“裴黄门别犹豫了。”后来叛军立秦王的儿子杨浩继嗣隋朝帝位，诏令裴矩任侍内，随军北上。宇文化及篡夺了帝位，任命裴矩为代理尚书右仆射，任河北道安抚大使。窦建德打败宇文化及后，裴矩又被窦建德捉住，窦建德认为裴矩是隋朝旧臣，对他很宽厚。窦建德从民间造反起家，没有君臣礼仪制度，裴矩替他全面制定朝廷礼仪，不到一个月，按照帝王的规格建立了法律规章，窦建德很敬重他。
窦建德失败后，裴矩归降唐朝，被提拔为殿中侍御史，封为安邑县公。先后改任太子詹事、检校侍中。当时突厥多次到边境抢掠，高祖派遣使者邀请西突厥订立和约，突厥乘机要求联姻。高祖说“：突厥的发展趋势会跟我们绝交，事情一紧急就不会听我的，怎么办？”裴矩说“：不过北方各族气焰正高，年年为边境不安定而伤脑筋，如果暂且顺应，表示把它当作友好力量，等我们军事设施完备、军需物资充实之后再改变战略。”高祖同意他的计策。隐太子李建成玄武门被杀以后，他的同伙还要保卫东宫不愿散去。秦王李世民派裴矩去明确开导他们，他们才服从命令。接着升任民部尚书。
太宗李世民登上帝位，憎恨贪官污吏，打算严厉惩处他们，就暗中派人向各部门官员赠送财物，有一个司门令史接受了一匹细绢，太宗发怒，命令杀掉他。
裴矩说“：官吏接受贿赂，处死本来应当。
不过陛下是用计谋诱骗他，凭这就要处以死刑，就成了所说的用罪名陷害别人，不符合用道德来教育他的情理。”太宗听了很高兴，向朝臣们讲了这件事，说“：裴矩能做到在朝廷当众对我强谏，不肯当面阿谀逢迎，人人都像这样，天下还会不太平吗？”裴矩八十岁了，精细明察记忆力强，通晓历史旧事，很受人们推崇尊重。他于贞观元年(627)去世，被追认为绛州刺史，谥号为“敬”。