裴行俭别名守约，绛州闻喜县人。
父亲名仁基，在隋朝任光禄大夫，身陷王世充的叛军后策划投奔唐朝，遭到杀害。
追认为原州都督，谥号为“忠”。
裴行俭少年时代凭借先辈功勋被委任为弘文生。太宗贞观中叶，参加明经科考试中选，任命为左屯卫仓曹参军。
当时苏定方任大将军，说道：“我用兵的谋略，世上没有可传授的人，现在你很合适。”就把战略战术全部传授给他。后来调任长安县令。高宗李治准备立武昭仪为皇后，裴行俭认为国家的祸患就从这事开始，和长孙无忌、褚遂良秘密商议对策，大理寺的袁公瑜向武昭仪的母亲告密，降职为西州都督府长史。高宗麟德二年(665)，升任安西都护，西域各国大多仰慕他的仁义归附唐朝。召回朝廷任司文少卿。改任吏部侍郎，和李敬玄、马载一同主持选才任官的工作，获得有才干的声誉，人们称为“裴马”。裴行俭创设长名榜、铨注等法规，还规定了州守县令的升降、衡量资历的高低作为制度。
上元三年(676)，吐蕃叛乱，裴行俭离京任洮州道左二军总管，改任秦州右军总管，一起受周王李显指挥。仪凤二年(677)，突厥十个部族的可汗阿史那都支以及李遮匐，引诱各附属部落来骚扰安西，和吐蕃结为联盟，朝廷准备征讨。
裴行俭建议说：“吐蕃跋扈蛮横，正处强盛时期，李敬玄征讨失利，刘审礼已被斩首，怎能又为西部边境酿成事故呢？现在波斯王死了，他的儿子泥涅师在长安做人质，如果派遣使者送泥涅师回波斯继承王位，就从突厥、吐蕃两国经过，要是运用计谋解决问题，是可以不用劳神费力就能成功的。”高宗于是命令裴行俭带上诏书护送波斯王，并任安抚大使。
穿越莫贺延碛沙漠时，飞沙走石，白天如同夜晚，向导迷了路，将士们饥饿疲劳。
裴行俭命令宿营举行祭祀，传出号令说：“水泉不远。”将士们才稍微安心。很快就云散风静，向前走了几百步，水泉丰沛草木繁茂，后边来的人不知到了什么地方。大家都感到惊异，好像是到了西汉李广利将军取马的大宛贰师城。到了西州，各属国官员出城迎接，裴行俭从当地招集了一千多名才智出众的人跟着自己向西走。制造舆论说：“天气太热，不能前进，应该住下来等待秋天。”阿史那都支侦探到这个情报，就没有设防准备。
裴行俭从容地召见龟兹、于阗、疏勒、碎叶四镇的酋长，假装邀约打猎，对他们说“：我爱好打猎的兴趣从来都没有忘掉，谁愿意跟我去打猎？”愿意跟随的当地年轻人有上万名，于是暗地带着队伍出发。几天之内，加速前进，离阿史那都支的营帐十多里，先派他亲近的人去向他问安，外表显得清闲无事，不是来袭击的，又派人急速召见阿史那都支。阿史那都支本来和李遮匐商量好，到了秋天再迎战护送波斯王的队伍，后来听说唐军到了，仓促之间想不出对策，只得率领五百多个下属人员到裴行俭的军营拜见，于是捉拿了他。当天，传递阿史那都支做符契用的弓箭，召集各部族酋长都来为他祈求保全生命，一同将他们押送到了碎叶城。挑选精悍的骑兵，轻装简从，袭击李遮匐。半路上抓住了李遮匐的使者，释放了他，叫他回去告知李遮匐，阿史那都支已被捉拿，李遮匐就投降了，全部押送到了长安。军官们在碎叶城为裴行俭镌刻石碑来记述功劳。高宗亲自设宴慰问，说：“裴行俭率领孤立无援的军队，深入到万里以外，不用作战就捉拿了叛党，平息了叛乱，可以说是文韬武略集于一身了，可得同时授予文臣武将两种官职。”当即任命他为礼部尚书，兼检校右卫大将军。
高宗调露元年(679)，突厥的阿史德温傅背叛唐朝，匈奴的单于管辖的二十四个州造反响应他，有几十万人众。都护萧嗣业征讨没有成功，死伤失败接连发生。高宗诏令裴行俭任定襄道行军大总管讨伐。他统率太仆少卿李思文、营州都督周道务的部队十八万人，会合西路军的程务挺、东路军的李文日柬等人，总共三十多万人马，军旗连绵上千里，全由裴行俭指挥。
在这以前，萧嗣业运输军粮，多次被敌人抢走，士卒饥饿而死。裴行俭说：“可以用计战胜敌人。”于是准备了三百乘假粮车，每乘车里埋伏五名骁勇的士卒，带着斩马的长刀、强劲的弓弩，用瘦弱的士卒拉车前进，还派精兵秘密地紧跟在后边。敌人果然来抢粮车，拉车的瘦弱士卒假装逃脱险境，敌人用马把车迅速拉到有水草的地方，解下马鞍，让马吃草。正要从车里拿粮食，骁勇的士卒猝然冲出，后边的伏兵恰好赶到，差不多将敌人杀死或俘虏光了。从此没有哪股敌人敢于走近粮车。
唐朝大军暂时驻扎在单于的北边，傍晚，已经扎好了营帐，战壕已全部挖好，裴行俭改变命令迁移到高冈上扎营。
军官们说：“将士们已经安顿下来了，不能扰乱他们。”裴行俭不听这些，催促迁移。到了夜晚，狂风暴雨突然来了，原来扎营的地方，积水一丈多深，将士们没有谁不惊叹，询问怎么知道会有风雨的，裴行俭说“：从今以后只按我的指挥办事就行了，别问我怎么知道的。”
敌军在黑山抵御，连打几仗都失败了，裴行俭让将士们尽情厮杀，前后杀死的敌人无法统计。突厥未经唐朝封赐的可汗泥熟匐被他的部下杀死，部下提着他的首级前来投降；又活捉了他们的大首领奉职班师回朝，突厥的残余部队逃往狼山。裴行俭回朝以后，阿史那伏念非法地自称可汗，又同阿史德温傅会合。
第二年，裴行俭重新统率各路军队，驻扎在代州的陉口，派遣间谍大搞离间活动，劝说阿史那伏念，使他跟阿史德温傅互相猜疑。阿史那伏念害怕了，秘密送来降书，并请求让他亲自捆来阿史德温傅表示诚意。裴行俭保守秘密没有公开，而呈递密封奏表报告了朝廷。几天之后，尘土冲天向南滚来，哨兵们惊恐，裴行俭说“：这是阿史那伏念押送阿史德温傅来投降，没有别的情况。不过接受投降如同接受挑战。”于是命令严加防备，派遣一名使者前去慰问。事情果然是这样。到这时，突厥残部全被消灭。高宗十分高兴，派户部尚书崔知悌慰劳部队。
当初，裴行俭曾向阿史那伏念许诺不杀他们，侍中裴炎妒忌他的功劳，向高宗陈述意见：“阿史那伏念被程务挺、张虔曰助威胁追赶，又遭碛北回纥的逼迫，没有办法才投降的。”结果在都城的大街上斩杀了阿史那伏念和阿史德温傅。裴行俭的功劳也不予记载。只是封他为闻喜县公。裴行俭叹息说“：西晋的王浑忌妒王浚平定吴国功劳的事，从古至今人们认为可耻。只怕杀掉降将以后就没有再愿归顺的人了！”于是借口生病不再露面。永淳元年(682)，十姓突厥的车薄叛乱，裴行俭又任金牙道行军大总管，还没有出发就去世了，享年六十四岁，追认为幽州都督，谥号为“献”。高宗诏令皇太子派遣官员管理他的家事，直到子孙能够自立才止。中宗李显登位，又追认他为扬州大都督。
裴行俭善长草书隶书，是位书法名家。高宗曾经给他白绢命令书写《昭明文选》，观赏之后，珍爱他的法度，赏赐丰厚。裴行俭常常说“：褚遂良如果不是精美的笔和墨，还不曾叫写就写，不选择笔和墨的好坏而能写得机灵敏捷的，只有我和虞世南而已。”他撰写《选谱》、《草字杂体》好几万字。还就安置军营、阵势摆列、预料胜负、识别人才等问题编写了四十六条经验诀窍，武后命令武承嗣上门拿走了，没有流传。
裴行俭通晓天文、历法，每次打仗，都能预知有利的时日。他善于识别人，在吏部任职时，看到苏味道、王剧，说道：“您二位日后会主管选拔人才的工作。”
李敬玄大力赞扬王勃、杨炯、卢照邻、骆宾王的才学，推荐给裴行俭，裴行俭说：“做官的人要达到远大的志向、职位、前途，就要把度量见识放在首位，把文学技艺放在其次。像王勃等人虽然富有文才，但轻浮急躁，爱卖弄夸耀，哪里是享有爵位俸禄的人呢？杨炯比较稳重谨慎，可以当到县令，其余的人都不会善终。”他推荐的高级将领，例如程务挺、张虔曰助、崔智聅、王方翼、蠶金毗、刘敬同、郭待封、李多祚、黑齿常之，大都是当世名将，由副官升为刺史将军的几十人。
皇帝曾赏赐给他骏马和珍贵的马鞍，令史私自骑马奔驰，马跌跤摔坏了马鞍，吓得逃跑了。裴行俭叫他回来，没有追究他。当初，平定阿史那都支、李遮匐时，缴获的珍宝数量巨大贵重无比，各国的首领将士希望看看，裴行俭乘机设宴，全部拿出来让他们观赏。有一个直径两尺的大玛瑙盘，错杂艳丽的色彩闪烁光亮，军中小吏脚步太快跌了一跤，盘子被摔碎了，惶恐惊怕，跪在地上头叩出了血。裴行俭笑着说：“你不是故意的，怎么吓成这个样子？”没有一丝舍不得的颜色。高宗赏赐给他从阿史那都支那儿缴获的财物金银器皿三千多件，骆驼马牛数字相同，裴行俭分送给亲戚朋友直到部下，几天时间就送光了。
裴行俭有个儿子名光庭。