张镐，博州人。风度仪表伟岸，豁达胸怀大志，涉猎经史，喜爱谈论王霸大略。年少时侍奉吴兢，兢非常器重他。后来游历京师，身居一室，不与外人交往。嗜酒，喜欢弹琴，常放在座位右边。公卿中有人邀请他，镐拿起拐杖径直前往，一醉方休。
天宝末年(756)，杨国忠凭藉声名，广集天下奇杰人才。听到镐的声名，召见后推荐他，从褐衣百姓升为左拾遗。等到禄山倚仗兵权时，国忠多次就军事和国事询问镐，镐推举赞善大夫来王真可承担国家的寄托。几个月后，玄宗幸驾到蜀，镐从山谷徒步护从。肃宗即位，玄宗派镐赶赴肃宗所在地。镐到了凤翔，奏议内容有很多好建议，升为谏议大夫，不久升为中书侍郎、同中书门下平章事。当时，皇上供奉僧侣在内道场，早晨夜晚念佛经，多达数百人，声音传出禁宫之外，镐上奏说：“臣听说天子修福的时候，需要心怀生命颐养，统一教化，没听说过区区僧教能够致国家于太平。诚恳地恭请陛下以无为为心，不要以小乘而阻挠圣上的思虑。”肃宗非常赞同。
此时军事频繁，皇帝选择将帅，认为镐具有文武才略，不久任命兼河南节度使，持节统领淮南等路各军事务。镐已出发，适逢张巡围困宋州，情况紧急，于是快速奔进，传令濠州刺史闾丘晓出兵营救。晓平时刚愎自用，驾驭部下却很少抚慰，喜欢独断专行。等到镐的信件来了，一点都没有服从的意思，又担心战事失败，将祸及自己，于是逗留不进攻。镐到了淮口，宋州已经沦陷，镐对晓发怒，立即将他杖杀。等到收复两京，加授镐银青光禄大夫，封为南阳郡公，诏令以本军镇守汴州，招抚征伐残敌。此时贼帅史思明奏请以范阳城归顺朝廷，镐猜测这是假象，担心朝廷同意，写密信上奏说：“思明凶残，叛逆窃取皇位，兵势强大则众人依附，兵势弱小则众人离开。内心包藏不测，与禽兽没有什么不同，可以用计谋取胜，而难以将他义招。希望不要以威权宽容他。”又说：“滑州防御史许叔冀，性情狡诈多谋，临到危急时肯定兵变，希望快速派入宿卫。”肃宗主意已定，对其奏表不察看。镐为人简朴澹泊，不从事关键事情。当时有宦官从范阳和滑州出使回来，都说思明、叔冀的诚意。肃宗认为镐不切时机，于是罢免其相位，授予荆州大都督府长史。后来思明、叔冀的假象正如镐所说那样。不久召为太子宾客，改为左散骑常侍。嗣岐王珍被人陷害伏法，镐由于买珍的房宅受牵连，贬为辰州司户。
代宗即位，在海内施行恩爱，升为抚州刺史。升洪州刺史、饶吉等七个州都团练观察等使，不久正授江南西道都团练观察等使。广德二年(764)九月死去。
镐入仕途大约三年，官至宰相。处事公正清廉，不积累资产，谦恭下士，善于谈论，多识大体，因而受天下人所瞩目，虽然官场经历很浅，仍可推为品德高尚的人。