杨绾字公权，华州华阴人。祖父温玉，是武则天朝代的户部侍郎、国子祭酒。父亲侃，为开元年间醴泉的县令，都是以操行儒雅受到赞许。绾天生聪慧，年仅四岁，就出类拔萃、敏识过人。曾有一次晚上款待宾客，要众人各自提出将座位中的器物以音韵四声读出来，各位宾客都没有说话，绾应声指着铁灯对应说：“灯盏柄曲。”众人都很惊奇。等到长大后，好学不倦，博通经史，九流七略，一览无遗，尤其擅长文辞，词藻结构清新韵足。崇尚玄理，沉静寡欲，经常独处一室，左右摆满经书，凝视满席书籍，非常宁静。内心明晰而运用隐晦，不求声名，每次写文章，羞愧于自白，不是知己的人不可看见。早年孤苦贫寒，以孝敬母亲而闻名，有时缺乏美味食物，脸上即显出忧虑。亲友劝说他去谋求俸禄，于是考取进士，调补为太子正字。天宝十三年(754)，玄宗御驾勤政楼，考试录用博通坟典、洞晓玄经、辞藻宏丽、军谋出众的贤人，命有关部门提供食物，天黑才结束。选取辞藻宏丽外，还加考诗赋各一首。制举考诗赋，就是从这里开始的。此时登科有三人，杨绾为第一名，被破格授予右拾遗。
天宝末年，安禄山反叛，肃宗在灵武即位。绾在贼军中冒着危险，披榛求食，赶着路程。此时朝廷正急需贤臣，等到绾赶到，大家都感到很高兴，升为起居舍人、知制诰。历任勋员外郎、职方郎中，仍然是知制诰。升为中书舍人，兼修国史。过去，对年龄大的舍人称为“阁老”，官署杂乱难以统计，称为“阁老”的人有五分之四。绾认为他们品秩同列，待遇同等，全都应平均分配，此举深受当时舆论称赞。
又升为礼部侍郎，向皇上分条目上奏贡举的弊端。
皇上诏令左右丞、各司侍郎、御史大夫、中丞、给、舍共同商议此奏文。给事中李訥、给事中李栖筠、尚书左丞贾至、京兆尹兼御史大夫严武所奏议的内容与绾相同。
李訥等人的论述与绾相似，因文章长不写出来。宰臣们上奏说明举人旧业年月已久，很难速改，今年的举人还望能同意进行，来年再奉诏停止，仍然诏令礼部立即分条目上奏。代宗以废止进士科问题询问翰林学士，对答说：“进士制度由来已久，立即废除它，恐怕会耽误学业。”于是诏令孝廉与旧举同时进行。绾又上奏关于史贡孝悌力田以及童子科等考试，其孝悌力田应该具有实际意义，童子越来越多，不在常科，而都在岁贡，担心助长侥幸风尚。皇上诏令停止。又升为吏部侍郎，根据法则推举选用，精心考察人物，以办事公道受到称赞。
此时元载执掌大权，公卿大多依附他，绾孤立中道，清贞自守，未曾私下拜谒元载。载认为绾平时声望很高，在外表示对他尊重，内心实际却对他疏远忌恨。此时鱼朝恩死了，载将朝恩曾经出任国子监一事，认为尘污了太学，应该用名儒主理国子监，以明晰秩序，于是上奏将其提为国子祭酒，实际上想以散官安排对待他。载贪财冒犯之举越来越盛，天下之人都对杨绾评论称赞，皇上非常清楚这些，考虑到载在枢衡任职已久，没有马上将其罢免。仍将绾升为太常卿，任礼仪使，凭借绾用以将久废的祭祀礼节振兴起来，同时也来观察其成效。这年三月，载伏法，皇上于是将绾升为中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。绾德高望重，诏令公布后，朝野之人相互祝贺。绾多次表示恳请让位，皇上嘱咐语气加重，绾不敢推辞。
绾素以品德行为著称，质朴忠贞，车服俭朴，在位不到几个月，人心所归。御史中丞崔宽是剑南西川节度使宁的弟弟，家境富有，在皇城之南建有别墅，池馆台榭，在当时被称为第一，宽就在当天暗中派人将其拆毁。中书令郭子仪在..州驻扎，听说绾为相后，府内音乐减少五分之四。京兆尹黎干承蒙恩宠，每次出入车马有一百多辆，也在当日减少车马，只留十匹而已。其余的闻风而动、将奢变俭的人不可胜数，移风易俗变化诸如此类。
绾患有痼疾，任职不久，中风，优待诏令在中书省休养，每次在延英殿引见，特别允许由人扶入。当时治理旧弊，惟绾是瞻，没有第二人承蒙宠爱。绾多次上奏请求辞职，又多次被皇上诏令回绝。等到绾病重，皇上每天派遣中使去住宅询问，御医在其身旁时刻守候。皇上听说他的病有起色喜形于色。不几天病逝，中使急驰马上奏，代宗震惊哀悼很久，辍朝三天。
又诏令文武百官到其宅第，派内常侍吴承倩吊唁，赠予绢千匹、布八百端。皇上非常惋惜，对朝臣们说：“上天不让我致力于太平，为什么将我的杨绾夺走这样快！装殓之时，我与众卿悲痛哀悼之情正同啊。”宰相辅佐君主死后受到如此恩遇，近年来还没有谁与此能相比。太常初谥号为文贞。诏曰：略。比部郎中苏端，性格疏狂，嫉妒其贤能，于是大肆诋毁，观点与之相异。皇上发怒，将端贬为广州员外司马。
绾以俭朴为乐，不曾留意自己家产。不过问生计，多次担任要职，无一区房宅，所得的俸禄，每月分发给亲友。思想明晰见识过人，盖如往哲微言，《五经》奥议，以前儒者们未知的东西，绾一看便知其精深至理。崇尚玄言，崇信释道二教，曾经著有《王开先生传》以表叙其意，文章因长不载。凡是所结交的朋友，都是当时名流。有的到他那里去的人，终日清淡，不曾追逐名利。有些客人想谋求职位，看见绾说话玄达，不敢提出，惭愧退下。大历年中(766～779)，德高望重，天下雅正之士都争着投奔其门下，还有从数千里外来的人。以清正贤德改变雅俗，在当时可与杨震、邴吉、山涛、谢安为同类之人。