金濂，字宗瀚，山阳人。永乐十六年(1418)，中进士，被授予御史。宣德初年，他巡按广东，最为廉洁能干。后来改巡按江西、浙江。因没能把大盗抓获，被免职。盗贼就擒后，他才得复官。他曾说郡县官员贪污，应敕令按察司、巡按御史考察廉洁能干的人，就如洪武年间的做法那样，再派使者去慰劳和奖赏，这样则官员清浊自分，守法而有治绩的官员也受到鼓励。皇上嘉许采纳了他的建议。因受推荐他升为陕西副使。
正统元年(1436)，他上书请将各卫的缺官补上，增加宁夏守兵，设汉中镇守都指挥使。这些建议多得讨论实行。三年，他升为佥都御史，参赞宁夏军务。金濂有心计，善于筹划，西陲安然。宁夏旧有五条水渠，而鸣沙洲七星、汉伯、石灰三渠已经淤塞。金濂请疏通它们，可灌溉荒芜之田一千三百余顷。当时皇上下诏令富民输运粮食助边，运送一千石以上的可得玺书褒奖。金濂说边防地区粮食很贵，请对达不到这个数目的人也进行表彰，边粮储备因此得到充实。六年，诏令佥都御史卢睿与金濂轮换守边。第二年，卢睿被召回，金濂又出去镇守。不久进升他为右副都御史，再次与卢睿轮换守边。
八年秋他任为刑部尚书，侍奉讲经筵。十一年，安乡伯张安与他的弟弟争俸禄，皇上下诏逮捕处治他们。法司与户部相互推诿，言官弹劾金濂与户部尚书王佐，右都御史陈镒，侍郎丁铉、马昂，副都御史丁王睿、程富等人。他们都被投进监狱，过了几天才放了出来。
福建贼邓茂七等人作乱，都督刘聚、都御史张阶去征讨，不胜。十三年(1448)十一月，朝廷大发兵，命宁阳侯陈懋等人为将军前往征讨，用金濂参赞军务。他们到达时，御史丁蠧已大破贼人，邓茂七死，其余的贼人拥戴他哥哥的儿子邓伯孙占据九龙山，抵抗官军。金濂与众人商议，便用弱兵引诱他们出来，而埋伏的精兵便攻入他们的堡垒，于是擒住了邓伯孙。皇上于是调张阶去讨伐浙江之寇，而留下金濂扫平还没攻下的其余贼人。正值英宗被俘，军事紧急，金濂被召回。议论者纷纷弹劾金濂无功，景帝不问，加封他为太子宾客，支给二职俸禄。不久他改任户部尚书，进封为太子太保。
当时四方用兵，粮饷需要紧迫，金濂全面安排计划，提出十六项节减开支的建议上奏实行，国家用度得以不缺乏。不久，上皇回来了，也先请如先前派遣使者往来，皇上坚决拒绝。金濂一再上疏劝谏，皇上不听。当初，皇上即位时，下诏免除景泰二年(1451)全国租税的十分之三。金濂传檄有关官员，只减征米麦，其他折收银两和布匹丝帛的照旧征收。三年二月，学士江渊对皇上谈到此事，皇上命户部调查处理。金濂心中惭愧，抵赖说没有。给事中李侃等人请询问天下有关官员违反诏令的原因。金濂担心事情败露，便说：“银两布匹和丝帛，诏书上没写明，如果一概减免，国家用度怎够开支？”于是给事中和御史都弹劾金濂失信于民，使人民怨恨国家，并且还揭发了他的阴事。皇上想宽宥他，而李侃和御史王允极力反对，遂把他关进都察院监狱。过了三天把他放了出来，削去太子太保之衔，改到工部。吏部尚书何文渊说理财非金濂不可，于是又调他回户部。金濂上疏自述，顺便请求退休，皇上安慰挽留他。东宫太子建立后，恢复金濂太子太保之衔。不久他又提出节减军匠和僧道人员过滥的食粮等十项建议上奏。五年，他在任上去世。以军功追封他为沭阳伯，谥荣襄。
金濂刚毅果断，有才干，但对待属下多暴怒。在刑部时，他执法过严。到他任户部尚书时，正值用兵，国家财物短缺，颇采取厚敛的办法来保证供给。