程知节原名程咬金，济州东阿县人。
善使马槊。隋朝末年，所居地区盗贼蜂起，程咬金聚众数百人共保乡里。后来归附李密，当时李密挑选勇士八千人隶属于四骠骑，分为左右两班以自卫，号称“内军”。李密常对人说“：这八千人抵得上百万大军。”程知节管领四骠骑之一，所受恩遇特别隆厚。王世充与李密决战，程知节率领内骑扎营于北邙山上，单雄信率领外骑扎营于偃师。王世充袭击单雄信营垒，李密派遣程知节与裴行俨前去救援，裴行俨被流箭中，坠落马下。
程知节驰马救援，连杀数人，趁敌军后退之机，抱起裴行俨驰马回奔。追兵用槊刺击，程知节折断其槊，斩杀追兵，方才免于此难。后来李密失败，为王世充所得。程知节厌恶王世充的为人，与秦叔宝一道前来奔投。授职为秦王府左三统军。随从秦王攻破宋金刚、窦建德、王世充，并领左一马军总管，每逢出征，常常举旗先登，因屡建战功被封为宿国公。
武德七年(624)，隐太子建成上谗言于高祖，派他出任康州刺史。程知节告知秦王说：“大王被去掉左膀右臂，要想使自己得到长久的保全，能做得到吗？
知节有死而已，不敢离开大王身边！”乱事平定之后，授职为太子右卫率。不久迁任右武卫大将军，享受实封七百户。
贞观年间，历任泸州都督、左领军大将军。改封为卢国公。
显庆二年(657)，授职为葱山道行军大总管以征讨贺鲁。军队进驻怛笃城时，有胡人数千家开门出降，程知节屠杀其城军民后离去，贺鲁因此而远逃他方。
军队返回后，坐罪免官。不久，又被起用为岐州刺史，随后离休。去世后，赠予骠骑大将军、益州大都督、陪葬于昭陵。
其子程处亮，娶清河公主为妻。