常衮，京兆人。父亲名无为，是三原县丞，由于衮的缘故多次赠予仆射官职。衮，天宝元年(742)考取进士，当过太子正字，多次授补阙、起居郎。宝应二年(763)，选为翰林学士、考功员外郎中、知制诰，依前翰林学士。永泰元年(765)，升为中书舍人。衮的文章俊拔，为当时所推崇，与杨炎同是舍人，当时被称为常杨。性格清高孤洁，不轻易与人交往。内侍鱼朝恩依仗权势得宠，兼任国子监事，衮上奏认为不行。此时朝廷事务繁多，西北边虏，接连进犯，衮多次上疏陈述其利害关系，代宗更加信任他，加授集贤院学士。大历元年(766)升为礼部侍郎，仍为学士。此时中官刘忠翼权倾宫廷内外，泾原节度使马王..又多次取得显著功勋，两人最受恩宠，无人相比，每人都有亲戚请出任官职以及请求成为馆府的众生，衮都依照标准管理，人们都害怕他。
元载得罪，命令衮与刘晏、李涵等人审讯，审判完后，提为门下侍郎、同平章事，太清、太微宫使，崇文、弘文馆大学士，与杨绾共同掌管枢务。代宗尤其信任重用绾。绾处理公务认同即可，衮却非常力求苟细，以求得清俭的名声，和绾的办法不同。原先，百官俸料很少，绾和衮上奏请求增加。此时韩氵晃为判度支，衮与氵晃各自依照私情施行，所加的俸料，多少之分由自己决定。此时大致定为每月俸为三十五千，氵晃对司业张参不满，仅只给三十千；衮厌恶少詹事赵其心，于是只给二十五千。太子洗马，实际为司经局长官，而文学为副职，衮有亲戚任文学职务给十二千，而给洗马仅只十千。其轻重多少任自己决定，而不按规定，诸如此类。
不多日，杨绾死了，衮独掌时政。原来，每天由朝廷内厨房做出的饭食，用以赐予宰相，其量可供十多人吃，衮特地请求取消，赐食之争到此为止。又把过去官署中的公厨，同时列为停止之中。有人认为厚禄重赐，是优待贤臣治理国家的政策，若个人能力不行，应该辞去他的职务，而不宜取消禄食待遇。政事堂有个后门，用以宰相到中书舍人院，咨询探访政事，以广视听。衮将其门堵住，以表示位尊，不与他人相互往来。鉴于元载为相时公道梗涩，贿赂朋党之风盛行，以财势而不以才学任人。衮将其全部杜绝，中外百官上奏请求，都掌握控制，不向皇上呈送，权势与皇上相等，尤其排斥不是以文辞登科第的人做官。虽然阻塞了以往买卖官职的途径，然而国家的治理仍然阻滞。
代宗由于平时器重杨绾，想委其以治理国家的重任，绾不久便死了，衮与绾志向风尚素来不相同，因嫉妒而对绾非常不满。有官员建议封绾谥号为文贞，衮在背后暗示比部郎中苏端进行批驳，极力诋毁绾，端由此获罪被罢免官职。此时由于没有中书侍郎，舍人崔..甫兼任省事，衮认为同中书门下平章事能兼统中书省，于是掌管中书胥吏、省事的去留及其案卷，..甫非常不满，二人累有矛盾，积仇很深。于是令..甫分管吏部选拔工作，而所拟定的官员又往往被驳回。此时衮分散官员，职权超过朝议，又没有被封爵，郭子仪由此进朝上奏，于是特地授银青光禄大夫，封为河内郡公。代宗驾崩，衮与..甫就丧服的事宜进行争论，相持不下。开始更换..甫为河南少尹，又贬为潮州刺史。杨炎入朝做相，平常与衮友善，建中元年(780)，衮升为福建观察使。四年(783)正月死，终年五十五岁。很长时间后，赠予左仆射。有文集六十卷。