耶律曷鲁，字控温，又字洪隐，迭剌部人。祖父匣马葛，简宪皇帝之兄。父偶思，在遥辇时任本部夷离堇，曷鲁乃是他的长子。曷鲁生性朴实厚道。幼年时，与太祖交游，伯父释鲁觉得他们奇异不凡，说：“光大我们家族的，必定是这两个孩子。”太祖成年之后，二人互换裘服、马匹结为好友，然而曷鲁事奉太祖更为小心了。适逢滑哥杀害其父释鲁，太祖对曷鲁说：“滑哥杀父，猜度我一定不会相容，将会反过来害我。现在他归罪于台哂自行解脱，我姑且跟他交往。这个贼子我是不会忘了他的！”从这以后，曷鲁总是佩着刀跟随太祖，以备不测。相处很久以后，曷鲁之父偶思病了，召见曷鲁说“：阿保机天授神机，神妙莫测，你要带领各位兄弟忠心事奉他。”不久太祖前来探病，偶思握着他的手说：“你乃是绝世之奇才。我儿子曷鲁，将来可委以重任，我已跟他明白说知了。”接着又将几个儿子都托付给他。
太祖任挞马笰沙里，参预部族事务，曷鲁领数骑招徕小黄室韦归附。太祖向来有大志，而心知曷鲁之贤能，军国大事非要曷鲁发议论不行。适逢讨伐越兀与乌古部，曷鲁为前锋，立了战功。待到太祖为迭剌部夷离堇，讨伐奚部，其首领术里凭借险阻修筑工事，攻之而不能下，命曷鲁拿着一根箭杆前往晓谕。进去之后，被对方拘执。于是劝奚人说：“契丹与奚言语相通，实际上是一国。我们夷离堇对于奚人怎么会有侵犯凌辱之心呢？汉人杀我们祖先奚首，夷离堇恨之入骨，日夜思量要报汉人之仇。只是势力单弱，派我来向奚国求援，送箭来以表明信用罢了。夷离堇受命于天，以仁德安抚属下，所以能有这么多兵力。今日奚国杀我，违天理背大德，没有比这更不好的选择了。况且兵连祸结，将从此开始，这又难道是国家之福吗？”术里为他的话所感动，便降顺了。太祖为于越，秉持国政，想任命曷鲁为迭剌部夷离堇。曷鲁推辞说：“贼人就在你身边，我不能远离。”太祖讨伐黑车子室韦，幽州刺史刘仁恭派养子赵霸率兵往救。曷鲁伏兵于桃山，等赵霸的人马半入伏圈时邀击之，与太祖合兵攻击，斩首俘虏者甚众，于是降服了室韦。太祖在云州与李克用相会，当时曷鲁侍立于旁，李克用看了看，赞许地问：“这高大男子是谁？”太祖说“：我们家曷鲁。”
适逢遥辇痕德堇可汗逝世，群臣奉遗诏请立太祖。太祖推辞说“：当年我们祖先夷离堇雅里曾经以不该立而加以推辞，现在你们又这样说，是何道理？”曷鲁进言说“：从前我们祖先的推辞，是因为遗旨没有提到，符瑞没有出现，只是为国人所拥戴罢了。现在先君言犹在耳，天赐神瑞，人心所向，天与人如出一辙。天命不可违背，人心不可拂逆，而君命也不得违抗。”太祖说：“遗旨是有，你又怎么知道天命？”曷鲁说“：听说于越您出生之时，神光照天，奇香布满帷帐，梦中受到神人教诲，皇上钦赐金佩。上天向来不会私恩于人，必应于有德之人。我国衰弱，长期受邻近部落欺侮伤害，因此天生圣人来兴隆之。可汗知道天意，所以有此遗命。况且遥辇九营，繁密如棋，并非没有可立之人；臣民们一同倾心于于越您，此乃天意。当年于越的伯父释鲁曾经说：‘我好比是蛇，侄儿好比是龙。’顺天时成人事，机不可失。”太祖仍不肯答应。当天夜里，特地召见曷鲁，责备说：“众人借遗命逼迫我，你难道不了解我的心，也随大流吗？”曷鲁说：“从前夷离堇雅里尽管推戴之人多，还是加以推辞，而立阻午为可汗。十几代相传下来，君与臣的名分已乱，法纪之准则也被破坏。委身投靠别国，好比垂饰物之依附于大旗。战事纷纷扰扰，百姓疲于奔命。兴王之大运，就在今日。应天命顺人心，以报答先君之遗命，实在是机不可失。”太祖便答应了。次日，即皇帝位，命曷鲁总揽军国事务。
当时法令礼俗还未走上正轨，国家用度不够充足，随从人员还不齐备；而诸弟剌葛等人总是心存非分之妄想。太祖在宫中和行营开始设置腹心部，选择各部强壮健儿二千余人充任，由曷鲁及萧敌鲁总管其事。不久诸弟之乱发生，太祖命曷鲁总领军事，讨平乱事，因功任为迭剌部夷离堇。当时百姓经历战争之苦，焚掠之余，日益凋敝，曷鲁安抚、协调有方，牲畜一天天变多，百姓日用变得富饶起来，于是讨伐乌古部，破之。乌古部从此震恐，再也不敢反叛。于是请求制定朝仪，建元，率百官奉上尊号。太祖在举行各种大礼接受上天册命之后，拜曷鲁为阿鲁敦于越。阿鲁敦，辽语盛名之意。
后来太祖讨伐西南诸夷，曷鲁多次担当前锋。神册二年(917)，随驾进逼幽州，在可汗州西拒战唐节度使周德威，败其军，于是包围了幽州，未能攻下。太祖因时当酷暑班师，留下曷鲁与卢国用守围。不久敌救兵接连而至，曷鲁等因兵少无援，撤围。
三年(918)七月，皇都建立之后，大宴群臣行落成之礼。曷鲁在这一天得病逝世，年四十七岁。当初，曷鲁病重，太祖前往探视，问他要说什么。曷鲁说：“陛下您圣明贤德，宽厚仁慈，天下归心，帝业兴隆。臣既已受您的宠爱恩遇，就是死了也已无憾。只有分散迭剌部的议案尚未决断，希望您赶紧实行。”及至逝世，太祖流着泪说：“他要是再活三五年，我的谋划就可以全部实现了！”后来太祖的二十一功臣，各有所比附之名，以曷鲁为心。