卫伯玉，具有体力，幼时习武，天宝(742)年间驻守安西，凭多次战功升为员外诸卫将军。肃宗即位，举兵平定国难，伯玉满怀激愤，一心想立功求名，从安西回到长安。开始任神策军兵马使出征。乾元二年(759)十月，叛贼史思明派将领李归仁率三千名铁骑进犯，伯玉以数百名骑兵在疆子坂将其打败，尸横遍野，获得战马六百匹，归仁和其残部向东逃走。以战功升为右羽林军大将军，熟知军事。转为四镇、北庭行营节度使。向京城贡献俘虏一百多人，皇上诏令解缚赦免他们，伯玉升任神策军节度。上元二年(761)二月，史思明率领众兵西下图谋长安，史朝义率领其军夜袭陕州。伯玉领兵抗击，在永宁大破敌军。贼军退走，晋位特进，封为东郡公。
广德元年(763)冬天，吐蕃进犯京师，皇上幸驾陕州。认为伯玉有才略，可当重任，于是升为江陵尹，兼任御史大夫，充当荆南节度观察等使。不久加授检校工部尚书，封为城阳郡王。大历初年(766)，遇上母亲丧事，朝廷以王昂替代其职，伯玉暗中劝将吏不接受诏令，不久又起用本官任荆南节度等使，受到当时人们的憎恶，大历十一年(776)二月觐见皇上，病死于京师。