皇甫遇，常山人。父亲皇甫武，流离寓居太原，曾任遮虏军使。皇甫遇小时喜好勇武，到年长时，须发卷曲，善于骑马射箭。后唐明宗还在藩镇时，把他收留在部下，历次跟随作战，屡建功绩。明宗即位后，升为龙武军都指挥使，遥任严州刺史，出征东川，担任行营左军都指挥使。应顺、清泰年间，历任团练防御使，不久迁任邓州节度使。所到之处，为官苛刻暴戾，以杀戮搜刮为要务，幕客多私下离去，以逃避他的牵累。
晋高祖进入洛阳后，皇甫遇移镇中山，不久朝廷听说他与镇州安重荣结为亲家，便调任他镇守上党，又改镇平阳，都是因为用小人主事，政事败坏混乱的原因。到镇守河阳时，在所辖境内建造别墅，开掘泉水，以用来灌溉，所经过的坟墓，全部加以毁坏，境内百姓因朝廷正姑息州郡主帅，没有谁敢上诉。少帝即位后，他罢官回到朝廷。开运二年，契丹南犯，皇甫遇跟随少帝到了澶州，在郓州北渡口发生战争，契丹大败，淹死的有几千人，因功被任为滑州节度使。
开运三年(946)，契丹国主率兵进驻邯郸，皇甫遇与安审琦、慕容彦超等前去抵御。皇甫遇将要渡过漳河，契丹先头部队大军杀来，皇甫遇向后撤退，转战二十余里到达邺都南面的榆林店。皇甫遇对安审琦等说：“敌众我寡，逃跑就没有活路，不如血战一场。”于是从辰时战到未时，打了一百多个回合，受伤的兵士非常多。皇甫遇的坐骑也中箭死去，他的随从杜知敏把战马给他，皇甫遇得马后又投入战斗，战了很久，形势才逐渐缓解。杜知敏已被敌军俘获，皇甫遇对慕容彦超说：“知敏在危急之中，把战马给了我，这是义举，怎能让他落在敌人手中！”于是与慕容彦超跃马夺取杜知敏而回，敌人骑兵都钦佩他们的勇壮。不一会儿剩下的军队又与敌人合战，皇甫遇不能解脱。当时安审琦已经到了安阳河，对统帅张从恩说：“皇甫遇等没有回来，一定是被敌人骑兵包围了，如不马上援救，则要被俘虏了。”张从恩说：“敌军势气正盛，没有谁可以抵抗，将军独自前往有何益？”安审琦说“：成败是命中注定的，假若不能成功，就与他一同死去，如果失去了这二位将领，将以何面目去见天子！”
于是率领铁骑向北渡河奔去解围。契丹军队看见尘土飞扬，以为是援军大量来到，便引兵退去。皇甫遇与慕容彦超多处受伤，但得以生还，当时各军将士感叹说“：这三人都是猛将啊！”皇甫遇历官至检校太师、同中书门下平章事。
开运四年(947)，契丹又南侵，皇甫遇跟随杜重威经营滹水一带，杜重威与契丹讲和，皇甫遇没有参与其中，到投降契丹后，心里极为不平。当时契丹国主打算派皇甫遇先进入汴州，他推辞了，还私下对人说“：我身蒙国恩，位兼将相，既然没有死在战场上，又有何面目以见旧主！反而接受伪命来图谋他，我不忍心。”第二天，走到赵郡，止歇在县舍中，他看着跟随的人说“：我已经二天没有吃饭了，病得很重，君王受辱则为臣者当死，我不再南行了。”因此切断自己的咽喉而死，远近的人听说后都认为他有节义。后汉高祖登上帝位，下诏追赠中书令。
后周广顺三年(953)一月，皇甫遇的妻子宋国夫人霍氏上奏，请求度为尼姑，周太祖准允了，并赐紫衣尼服，赐号贞范大师，法名惠圆，又赐僧龄十年。