房乔字玄龄，齐州临淄县人。曾祖父房翼，曾任后魏的镇远将军、宋安郡守，世袭壮武伯爵位。祖父房熊，字子，初仕任褐州主簿。父亲房彦谦，爱做学问，广泛涉猎儒家经典，曾任隋朝的泾阳令，《隋书》里有《房彦谦传》。
房玄龄小时候聪慧敏捷，博览群书，擅长草书、隶书，会写文章。曾经跟随父亲到京城，当时天下太平，舆论都认为国运会很久长，房玄龄却私下里对父亲说：“隋帝本来没有功业德行，只是欺骗迷惑百姓，不替后代做长远打算，混淆了嫡庶子的亲疏尊卑关系，致使互相倾轧争夺，太子王侯，比赛着纵欲享乐，最后必然自相残杀，不能保全帝位国家。眼下虽然太平，它的灭亡可以翘首..足来等到。”房彦谦听了又惊恐又诧异。十八岁时，州里推选他为进士出身，朝廷授予他羽骑尉职务。吏部侍郎高孝基一向自称善于识别人的智愚善恶，见到房玄龄后大加赞赏，对裴矩说：“我看到的人已经够多了，还没有见过像这个年轻人的。一定能成大器，只是遗憾不能亲眼看到他直立山谷高入云霄啊。”父亲重病持续一百天，房玄龄伺候喝药吃饭，不曾脱过衣服打过盹。父亲去世，五天之久滴水未沾。后来担任隰城县尉。
适逢义军进入关中，太宗到渭北攻占土地，房玄龄驱马奔赴军营门前请求见太宗，温彦博又向太宗推荐。太宗一见，便如同老相识，安排他任渭北道行军记室参军。房玄龄遇到了太宗这位知己，便尽心尽力，出谋献策。每当平定叛军，人们争先恐后寻求珍宝文物，房玄龄单单急着接纳人才，安排到幕府供职。遇到胸怀韬略的文臣、英勇善战的武将，都私下跟他再三结交，他们各自为唐朝出尽了最大力量。
天下平定后，隐太子李建成见太宗李世民功德最高，产生了猜忌。太宗有一次到隐太子那里，吃了东西，发现中毒回到自己府中，全府震惊，又无法处理这个问题。房玄龄因此对长孙无忌说“：如今仇怨已经结成，祸患一触即发，社会上论辩争吵纷扰不安，有人心怀叛变意图。事变一旦发生，大乱必然兴起，这不只殃及秦王府，只怕恰恰会颠覆国家政权。面临这种局势，怎能不深谋远虑呀！我有一个主意，不如仿效鲁周公姬旦诛杀、流放叛乱的管叔、蔡叔来辅佐成王姬诵的做法，对外使得天下太平，对内使得朝廷安定，以礼仪孝敬侍奉太上皇帝。古人说过‘，为了国家大事不能顾及个人小节’，说的就是这吧。丧失国家政权和牺牲个人生命名声，哪种损失重大？”长孙无忌说“：早有这个想法，没敢说出来，你的话，完全符合我的心意。”长孙无忌就到秦王府把这事告诉了太宗。太宗召来房玄龄说：“我们正面临危险，迹象已经露出来了，怎么办？”房玄龄回答说：“国家政权受到威胁，现在和古代有何不同。假如不是圣明的国君，就不能使国家安定。您的功德高于天大于地，应当君临天下，这是上天的帮助，不是靠人强求的。”因此跟秦王府属吏杜如晦同心合力辅佐太宗。仍旧跟随秦王改任秦王府记室，封为临淄侯，又以原来的职位兼任陕东道大行台考功郎中，担任文学馆学士。房玄龄在秦王府十多年，经常主持文书方面的工作，每当起草军事文书、章奏表驳，马一停下就写成了，文词简练事理周详，完全不打草稿。高祖曾对侍臣说：“这人处理事情很懂分寸，完全能够委以重任。每当为世民陈述事理，一定符合我的心意，相距一千多里，如同当面讲话一样。”隐太子认为房玄龄、杜如晦是太宗亲近看重的人，很憎恶他们，在高祖面前诬陷他们，因此他们都被高祖赶出了秦王府。
隐太子即将发动事变时，太宗命令长孙无忌召呼房玄龄和杜如晦，叫他们道士打扮，秘密来到阁中商议对策。到太宗立为皇太子时，房玄龄被提拔为太子右庶子，赏赐给他五千匹绢。太宗登上帝位的贞观元年(627)，房玄龄接替萧王禹任中书令。论功劳大小进行奖赏，数房玄龄以及长孙无忌、杜如晦、尉迟敬德、侯君集五个人为第一等，晋升房玄龄以邢国公的封号，赐予他收纳一千三百户租税的实封。太宗当下对各有功之臣说“：我将各位的功劳排了等级次序，以此确定爵位官阶，恐怕不能全都妥当，各位都可以说说看法。”皇叔淮安王李神通上前说“：义旗刚一举起，我就最先率领部队响应。如今房玄龄、杜如晦等舞文弄墨的文官功劳定为头等，我不信服。”太宗说“：义旗刚举那会，人人都有起义的心愿。叔父虽然率领部队来了，但还不曾亲自行军打仗；山东尚未平定之时，你受托出兵讨伐窦建德，窦建德向南侵犯，你全军覆没。到刘黑闼东山再起，叔父你望风而逃。现在论功行赏，房玄龄等人运筹帷幄，立下了定社稷立国家的大功，比如汉朝的萧何，虽无战功，但是指挥谋划帮助汉家成就帝业，因此功劳居于首位。叔父是我血缘最近的亲人，实在不是我对你吝啬，而是一定不能假公济私，不顾实际地让你得到跟功臣们同等的赏赐啊。”开始，将军丘师利等人全都自夸功劳，有的捋袖露臂自吹自擂，指天划地赌咒发誓，后来看见李神通被太宗批评得理屈辞穷，便私下议论：“皇上以最公平的原则实行奖赏，不偏爱自己的亲属，我们这些人怎能乱说？”
贞观三年(629)，授予房玄龄太子少师官衔，他坚决推辞，只任代理太子詹事，兼任礼部尚书。第二年，接替长孙无忌任尚书左仆射，改封爵号魏国公，主持编撰本朝历史。负责统管朝廷各部门政务以后，他忠于职守从不懈怠，尽心竭力，不愿出现一点失误。听到别人的优点长处，就像是自己有那优点长处一样高兴。他熟悉百官的情况，多讲优点来鼓励他们，研究制订法律条例，立意是宽容公正。取用人才不求全责备，不用自己的长处苛求别人，按照才干安排职务，出身低微也无妨碍。公众舆论赞扬他是贤相。他有时出了差错被皇上批评，就一连几天在理事的朝堂里叩头请罪，惶恐不安，好像无地自容。贞观九年(635)，因维护高祖的陵墓制度有功，加赐开府仪同三司名号。贞观十一年(637)，跟司空长孙无忌等十四人一起被封为世袭刺史，按照这个身份任宋州刺史，改封爵号梁国公，实际上终究没有实行。
贞观十三年(639)，提升为太子少师，房玄龄多次呈表请求免去尚书左仆射职务，太宗批复说：“选贤任能的关键，应以不存私心为根本；事奉国君的原则，应以当仁不让为美德。各个时代都靠这弘扬教化，所有贤良都靠这协调关系。你忠诚谦恭，正直厚道。天下混乱之时帮我谋划建立功业，玄武门事变之前帮我扫平登极道路。你为朝臣们树立了楷模，按法度处理政务；辅佐太子，声望成就都如此显著。可现在忘掉了根本原则，拘泥于琐细规矩，虽然接受了太子少师的职务，却推辞襄理政务的重任，难道这就是所说的辅佐我一人共同安天下吗？”房玄龄于是在担任尚书左仆射的同时兼任太子少师。这时皇太子李治就要举行拜师仪式，备办了礼物等着他，房玄龄迫切地希望降低自己的权位，又不敢上表陈述，就自动回家去了。有识之士没有谁不尊重他的辞让精神。房玄龄自从官居中书令、尚书左仆射十五年时间，女儿嫁给了太宗的儿子韩王李元嘉为妃，儿子房遗爱娶太宗的女儿高阳公主为妻，实在显贵到了极点，多次呈表辞职，太宗老是劝阻。贞观十六年(642)，又和高士廉等人合作编写成《文思博要》一书，赏赐非常丰厚。他被提升为司空，仍然统管朝廷政务，主持编撰本朝历史。房玄龄呈表直言请求辞职，太宗派遣使者对他说：“西汉张良辞让官职，东汉窦融谢绝荣誉，自己警惕‘水盈则溢，月满则亏’的规律，能够知难而进、激流勇退，善于见好就收、知足常乐，前人传为美谈。您也仿效前贤先哲，实在应该赞美。不过朝廷多年重用您，一旦突然没有了您这样的贤相，就像失去了两条臂膀。您如果身体还好，就别再这样辞让了。”房玄龄只得作罢。
贞观十七年(643)，房玄龄与司徒长孙无忌等人绘了肖像陈列在为表彰功臣而建造的凌烟阁，为他写的赞词说：“才兼藻翰，思入机神。当官励节，奉上忘身(才学兼擅文章书法，韬略至于出神入化。担任官职谨守节操，事奉国君忘掉自家)。”高宗李治当时是东宫太子，房玄龄兼任太子太傅，仍然执掌门下省的政务，继续主持编撰本朝历史。不久由于完成了《高祖、太宗实录》的撰写任务，朝廷颁发玉玺封记的文书嘉奖，赏赐丝绸一千五百段。那年，房玄龄因继母去世离职回家守孝，太宗特地命令用昭陵墓地安葬他的继母。没过多久，又召回他官复原职。太宗御驾亲征辽东，命令房玄龄留守京城，写下手谕说：“您担当如同汉王刘邦的丞相萧何留守关中一样的重任，我就没有后顾之忧了。”战车装备，军队粮饷，都委托他安排发送。房玄龄多次对太宗说不能轻敌，要特别警惕小心。不久与中书侍郎褚遂良接受诏令重新编写《晋书》，于是奏明太宗调来太子左庶子许敬宗、中书舍人来济、著作郎陆元仕和刘子翼、前雍州刺史令狐德盞、太子舍人李义府和薛元超、起居郎上官仪等八人，分担收集记录工作，以臧荣绪主编的《晋书》为蓝本，参考其他各种版本，很是详尽严密。然而修史官员大多是善于作文吟诗的文人，喜爱收集奇异怪诞的琐事，以扩大宣扬新奇的人物事件；写的评论文字，一味追求华丽，不讲忠于事实，因此遭到有学识的人的批评。只有李淳风很懂天文历法，善于写作，他写的《天文志》、《律历志》、《五行志》，最值得一读。太宗亲自撰写了《宣帝论》、《武帝论》以及《陆机论》、《王羲之论》，因此全书署为“御撰”。到贞观二十年(646)，全书编写成功，共一百三十卷，诏令藏到宫廷收藏珍稀书籍的秘府，按照等级给编撰人员赏赐奖品提升官职。
房玄龄因犯小过失回家闲居，黄门侍郎褚遂良呈递奏疏说：“国君是脑袋，臣子就是四肢，龙一腾跃云就兴起，不用呼唤就会聚集，如果时机一到，那真是千载难逢不可错过。陛下昔日当百姓时，心怀拯救黎民于水深火热的志向，手提锋利的宝剑，兴起仁义之师。平定各处暴乱，都是您的神功，文事方面的工作，多靠臣属辅佐。臣属中竭尽心力的，房玄龄首屈一指。历史上的姜太公扶助武王姬发灭商建周，伊尹辅佐商汤灭夏建商，萧何留守关中帮助汉王刘邦灭楚兴汉，王导扶持司马睿统一江南建立东晋，同这些人比，房玄龄是配得上的。再说高祖武德初年他投奔义军事奉陛下，忠诚勤勉谦恭孝敬，大家都崇敬他。前东宫太子李建成、海陵郡王李元吉，依靠恶人制造祸乱，陷害谋杀陛下，秦王府人人惶惶不安，处于累卵、倒悬似的危急时刻，生死存亡系于一旦，房玄龄的耿耿忠心，始终不曾改变。到了武德九年(626)六月，危机出现，情势紧迫，您本人被逐出宫廷，没了主张，他还道士打扮，跟长孙皇后一起暗中帮助，在坚守臣子节操方面，本来没有辜负陛下。自从陛下登上帝位，万物更新，他选拔官吏事奉您，公众舆论很推崇他，虽然他功勋无可比拟，但忠君之心一如既往。如果他不是犯下不可饶恕的罪过，非同缙绅大夫一样治罪不可，那么就不应当由于一次冒犯、一种过失，就轻易地予以抛弃。陛下一定要怜悯他上了年纪，把他的过失看马虎一点儿，古代有过国君委婉劝说大臣辞官回家的事，您自然可以在事后仿效前人的样子，使用客气的方法让他离去，不使他损失美名。如果让几十年的老功臣，由于一次过失就被驱逐，外边的人会议论纷纷，我认为不大妥当。国君尊重大臣就会人人竭力尽忠，轻易地罢免贬谪就会人心不定。我如此平庸浅薄，有愧于在您身边伺候，现在冒犯您的威严，申述以上一孔之见。”
贞观二十一年(647)，太宗在终南山翠微宫休养，任命司农卿李纬为民部尚书。房玄龄这时留守长安，有个官员从长安来到翠微宫，太宗问他：“房玄龄知道李纬担任民部尚书后有何看法？”那官员回答：“房玄龄只是说李纬的胡须漂亮，再没说别的。”太宗很快调任李纬为洛州刺史，当时太宗把他的话简直当了行为准则。
贞观二十二年(648)，太宗在玉华宫休养，当时房玄龄老病发作，太宗下诏让他带病统管留守长安的事。后来病情逐渐沉重，房玄龄赶到玉华宫，坐着担舆让人抬进宫殿，快到太宗座位跟前才下来。太宗一见就对着他流泪，房玄龄也感动得声音哽咽无法承受。太宗下令派遣名医抢救，负责太宗伙食的官员每天送御膳给他。如果病情略有好转，太宗就喜形于色；如果听说病情加重，就面带伤感。房玄龄于是对儿子们说“：我想我是病得快要死了，皇上对我的恩惠却越来越重，如果亏负了皇上，那么死了也还有责任。如今天下清静安宁，各方面的事都处理得妥妥当当，惟独不停地东征高丽，才是国家的忧患。皇上心怀愤怒态度坚决，朝臣们没有谁敢冒犯威严进行劝谏；我明白这种情况而不说，就会带着遗憾死去。”于是呈表直言劝谏说：
“我听说用兵打仗忌讳的是没有止息，崇尚的是争取和平。如今大唐的教化，没有哪个边远地区没有达到，自古以来不愿臣服的，陛下都能使他们臣服，不愿接受控制的，都能使他们接受控制。仔细观察历史和现状，给国家造成祸患灾难的，没有比突厥等西北民族更厉害的。陛下也能静坐宫廷筹划英明的策略，不必亲出宫殿，而突厥等族大大小小的首领可汗，一个个归顺朝廷，分担守卫任务，参与宫廷警卫执勤工作。此后延陀部族猖狂嚣张，不久就被荡平，铁勒部族仰慕正道，请求设置行政机构予以治理，整个西北地区，一派清静安宁。后来像高昌国在西州暴乱，吐谷浑国在积石关反叛，派出一支部队征讨，就都归顺平定了。高丽祖祖辈辈逃避惩罚，没有谁能讨伐他。陛下对他叛乱造反杀死国君、侵害百姓要给予处罚，亲自统领军队，到辽东、碣石征讨。还不到一个月时间，就攻克辽东，前前后后，俘虏他的人马达几十万，分给各个州郡，没有哪个地方没有满员。昭雪了历代的旧耻，安葬了历代阵亡将士的骸骨，论功业德行，超过历代国君千万倍。这些都是陛下清楚的，我怎能说得周全啊。
“再说陛下恩泽遍布大地，孝德可比高天。分析周边侵我部族的衰亡，则能断定具体时日；给出征将领部署战略战术，则能决断万里之外的战机。弯弯手指，看看日影，就能断定邮递人员什么时间送来什么内容的文书消息，应验如同神仙，谋划无一差失。您从士卒中提拔将领，从百姓中挑选吏属。边远地区的外族使者，见一面就不会忘记；下级小官的姓名，问过一次就记住了。一箭能射穿七层铠甲叶片，拉开硬弓足有一百八十斤力量。更是倾心于古代经典，喜爱吟诵诗篇，书法超过东汉张芝、三国钟繇的造诣，文章深得西汉司马迁、东汉班固的神韵。文思奋发，如同音乐优美和谐；翰笔挥舞，如同百花竞相怒放。以仁慈抚慰百姓，以礼仪对待群臣。对微小的善行都要褒奖，对重大的罪错也能宽容。难听的劝谏您总是采纳，不实的报告您一概杜绝。您有爱惜生灵的美德，要把江湖上的捕捞设施烧掉；您有厌恶杀伤的仁慈，要使屠案上的宰杀工具停下。野鸟得到了饲养的恩惠，家畜得到了保护的爱心。您走下车来吸吮突厥可汗思摩的伤口，登上灵堂悼念魏征的亡魂。痛哭阵亡的士卒，哀伤震憾全军将士；背负垫路的柴草，精诚感动高天大地。对百姓的生命尤其看重，处理各种诉讼案件特别尽心。我记忆模糊，怎配叙述皇上深远的功业，议论皇上崇高的德行啊！陛下集多种美德于一身，无不一应齐备，小臣我由衷地为陛下仰慕这些，尊重这些，维护这些，珍惜这些。
“《周易》里说：‘知道进却不知道退，知道存却不知道亡，知道得却不知道失。’又说‘：明了进退存亡得失的内在关系，能够恰当处理的，只有圣人吧！’从这些话看来，进里头就包含着退的意义，存里头就包含着亡的原由，得里头就包含着失的道理，我为陛下珍惜美德的原因，正在于此。老子(李耳)说‘：知足常乐就不觉屈辱，见好就收则不担风险。’说到陛下的权威声望功业德行，也可以满足了；拓展领土开扩边疆，也可以停止了。高丽是边境上的落后民族，不必以仁义对待，不能以常礼要求。自古就把他们当作鱼鳖一样容留下来，对他们应当宽松。如果一定要灭绝他们，恐怕逼得无路可走就会拼命。再说陛下每判一个死刑罪犯，一定要三番五次地核查汇报，吃素餐、停歌舞的原因，都是由于人命关天，触动了您的仁慈心肠。何况那些普通士卒，没有一个犯罪的人，无缘无故把他们赶到战场上，放在刀尖下，使他们肝脑涂地，成为孤魂野鬼，让他们的老父孤儿寡妻慈母望着战车掩面哭泣，抱着枯骨极度伤心，足以使得阴阳颠倒，精气感伤，实在是天下百姓的委屈痛苦。再说武器是杀人的工具，战争是杀人的灾祸，实在没有办法才用兵打仗。假使高丽违背人臣的操守，陛下惩罚他们是可以的；侵扰我们的百姓，陛下消灭他们是可以的；日后会成为国内的祸患，陛下除掉他们是可以的。这三条中如有一条，即使每天杀一万人，也不必愧疚。现在没有这三条，无故烦扰国内百姓，对内要替前代国君雪耻，对外要为新罗国报仇，难道不是得不偿失？
“请陛下遵循皇家远祖老子(李耳)‘知足不辱，知止不殆’的告诫，保护千秋万代的崇高声望。发布丰隆的恩泽，颁下宽容的诏令，顺应清明盛世施予恩德，允许高丽自己改过更新，烧掉渡海的战船，遣返应征的兵众，当然是华夏高丽幸福有望，边境肃敬，内地平安。我是个年老病重身处高位的朝臣，说不定今晚明晨就会死去，遗憾的是终究没有一粒尘土、一滴露水为高山大海帮点小忙。趁我断气前夕说出全部心里话，预先代为表达结草报答陛下大恩的诚意。如果承蒙采纳，就是我死了也算活着。”
太宗看了表章，对房玄龄的儿媳也就是自己的女儿高阳公主说“：这人病危到如此程度，还能忧虑国家大事。”
后来房玄龄病情恶化，于是凿穿院墙开了便门，太宗不断派遣中使探望。太宗还亲临病榻，握住房玄龄的手诉说别情，悲痛得承受不了。皇太子也到房玄龄的床前跟他诀别。当面任命他的儿子房遗爱为右卫中郎将，房遗直为中散大夫，让他亲眼看到儿子们官高名显。不久房玄龄逝世，终年七十。太宗停止臣子朝见以悼念三天时间，下诏令追认房玄龄为太尉、并州都督，谥号叫文昭，赐予棺木，把他安葬在太宗为自己预先营造的昭陵墓地。房玄龄曾经就骄横奢侈积习不改的问题训诫过儿子们，一定不能用地位名望欺压别人，因此辑录古今圣贤告诫家人的话，书写在屏风上，分给他们一人一套，说：“如果能把这些放在心上，就可以保全自己、树立名声。”又说“：袁家忠诚有气节，这是我所尊崇的，你们应该学习。”高宗继承帝位，诏令在太宗的庙堂里设置房玄龄的灵位享受祭祀。
儿子房遗直继承房玄龄的爵位，高宗永徽初年任礼部尚书、汴州刺史。次子房遗爱娶太宗的女儿高阳公主为妻，授予驸马都尉的头衔，官职做到太府卿、散骑常侍。当初，高阳公主特别受到太宗宠爱，因此房遗爱也受到特殊优待，跟各驸马的待遇规格完全不同。高阳公主骄横放纵，企图废除房遗直以便夺取他的爵位，永徽年间诬告房遗直对她有无礼行为。高宗命令长孙无忌审理这件事情，从而获得高阳公主和房遗爱图谋造反的情况。房遗爱被处死刑，高阳公主诏令自杀，各个儿子都流放到岭南。房遗直由于父亲的功勋免于治罪，免去爵位官职成为普通百姓。房玄龄的灵位也从太宗的庙堂里撤去了。