卫伯玉，有膂力，幼习艺。天宝中杖剑之安西，以边功累迁至员外诸卫将军。肃宗即位，兴师靖难，伯玉激愤，思立功名，自安西归长安。初为神策军兵马使出镇。乾元二年十月，逆贼史思明遣伪将李归仁铁骑三千来犯，伯玉以数百骑于疆子坂击破之，积尸满野，虏马六百匹，归仁与其党东走。以功迁右羽林军大将军，知军事。转四镇、北庭行营节度使。献俘百余人至阙下，诏解缚而赦之，迁伯玉神策军节度。上元二年二月，史思明领众西下图长安，史朝义率其党夜袭陕州。伯玉以兵逆击，大破贼于永宁。贼退，进位特进，封河东郡公。

广德元年冬，吐蕃寇京师，乘舆幸陕。以伯玉有干略，可当重寄，乃拜江陵尹、兼御史大夫，充荆南节度观察等使。寻加检校工部尚书，封城阳郡王。大历初，丁母忧，朝廷以王昂代其任，伯玉潜讽将吏不受诏，遂起复以本官为荆南节度等使，时议丑之。大历十一年二月入觐，以疾卒于京师。