张建封字本立，兖州人。祖父张仁范，洪州南昌县令，贞元初追赠郑州刺史。父张..，年轻时豪爽侠义，轻视钱财，看重士人。安禄山谋反时，命伪将李庭伟率领藩镇军队威胁治下城邑，至鲁郡，太守韩择木备礼在郊外迎接，将李庭伟安置于客馆。张..率领乡间豪士张贵、孙邑、段绛等聚集兵卒打算杀死李庭伟。韩择木怯懦，十分恐惧；惟有员外司兵张孚赞同这个办法，于是杀了李庭伟及其同党几十人，韩择木这才派遣使者向朝廷奏明。韩择木、张孚都受到升官的奖励，张..因到江南游历去了，未提及他的功劳。后因张建封官职显贵，追赐张..为秘书监。
张建封年轻时颇善做文章，好发议论，慷慨激昂，不甘居于人下，以建树功名为自己的目标。宝应年间，李光弼镇守河南，当时苏州、常州等地草寇劫掠郡县，代宗派遣宦官马日新与李光弼率领兵马一同去征讨。张建封便去拜见马日新，请求自己前去劝说贼徒归降，马日新同意了他，张建封便进入虎窟、蒸里等处贼营，向他们说明福祸利害。一天晚上，数千名贼人一起前往马日新处请求归降，于是将他们全部放归乡里。大历初，道州刺史裴虬向观察使韦之晋举荐张建封，韦之晋召聘他为参谋，奏请朝廷授他左清道兵曹，张建封不乐意担任这种小吏差使而离去。滑亳节度使令狐彰闻知他的名声，征用了他；令狐彰未曾入朝晋见，张建封心中不悦，便到转运使刘晏处投名帖自荐，自己陈述志向，不愿在令狐彰那儿任职。刘晏奏请试用他为大理评事，处理军务；一年多以后，张建封再次罢职归家。
张建封素来与马燧相友善。大历十年(775)，马燧任河阳三城镇遏使，征聘张建封为判官，并奏请朝廷授予他监察御史，赐绯衣银鱼袋。李灵曜在梁州、宋州间谋反，与田悦互相策应，同为叛逆之臣，马燧与李忠臣一同讨伐平定了他们，在军务方面多向张建封咨询。及至马燧任河东节度使，再次奏请张建封为判官，特拜为侍御史。建中初，马燧向朝廷举荐他，杨炎拟用他为度支郎中，可卢杞厌恶他，派他出任岳州刺史。
当时淮西节度使李希烈乘破梁崇义的局势，逐渐骄横跋扈，同寿州刺史崔昭有好几次书信来往，淮南节度使陈少游将此事奏报朝廷，皇上立即召见宰相，令他另选寿州刺史。卢杞本来厌恶张建封，这天仓皇失措，便荐举张建封替代崔昭任寿州刺史。李希烈起兵，攻陷汝州，擒获李元平，击走刘德信、唐汉臣等，又在襄城摧毁哥舒曜的军队，连续攻陷郑州、汴州等地，李勉弃城逃走。泾原军内部反叛，圣驾临幸奉天，叛贼锋芒更盛，淮南陈少游暗中勾结李希烈，不久李希烈自建伪朝名号，更改年号，派遣叛将杨丰携带伪赦书两道，令他送交陈少游和张建封。杨丰抵达寿州，张建封将他绑缚起来在军中示众。适逢从皇上行宫来的宦官和出使江南返回的宦官同时来到，张建封召集部众，当着宦官的面，在通衢大路上斩了杨丰，并密封伪赦书送至皇上行宫，远近之人对此事均感震惊。陈少游闻知此事，既恼怒又害怕。张建封便将陈少游和李希烈往来的情况全部奏报皇上。李希烈又非法任命他的党羽杜少诚为淮南节度使，命他先平定寿州，再进兵江都。张建封令其部将贺兰元均、邵怡等防守霍丘的秋栅。杜少诚终究不能侵犯寿州，便向南劫掠蕲州、黄州等地，又被伊慎挫败。不久加授张建封兼御史中丞和本州团练使。皇上返回京师，陈少游忧愤而死。兴元元年(784)，又加授张建封兼御史大夫，充任濠寿庐三州都团练观察使，于是大规模修葺城池，悉心安抚百姓，远近人民都乐于依附，从此威望更高。李希烈挑选党羽中精悍者率领强兵攻打张建封，旷日持久地对峙，终于无所获取而离去。及至李希烈被平定，张建封升官晋级，并赐其一子以正员官职。
当初，建中年间李洧率徐州归附朝廷，不久李洧去世，此后高承宗父子、独孤华相继任徐州刺史，因被贼军侵扰掠夺，百姓贫困无以为生；又因徐州是咽喉要地，处于江淮航运的要冲，朝廷早就想挑选权位尊宠的大臣去镇守。贞元四年(788)，任命张建封为徐州刺史，兼御史大夫、徐泗濠节度使、支度营田观察使。创设军队以后，张建封遇事皆亲自处理，他性情宽厚，能够容忍别人的过失，而依据法律行事，不随意枉法宽免，每谈及事理，总是以忠义感动激发人，人们对他又敬畏又爱戴。贞元七年(791)，晋封检校礼部尚书。贞元十二年(796)，加授检校右仆射。贞元十三年冬，入京觐见皇上，德宗对他加等给予礼遇，特地在双日开启延英殿召见应对，又令他上朝参见时入大夫班行列，以示特别恩宠。张建封赋《朝天行》一章奉献，皇上赐给他名马珍玩等厚赏。
当时宦官掌管宫中采购事务，称为宫市，他们压价购入货物，比原来的售价稍低一些。后来每年不再颁行公文敕书，而派遣“白望”数十百人，在东西两市及要冲热闹的坊曲，看见人家所卖的货物，只称“宫市”，对方就要恭敬地奉上，真假也分不清楚，也不敢问他是从哪里来的和论价钱的高低，大多用只值一百钱的东西换取别人值几千钱的货物，还要索取进奉门户和脚价钱。人们把货物拿到市场上，甚至有空手而归的，名为“宫市”，其实是抢夺。曾有一农夫用驴驮柴去集市上卖，宦官买柴，付给他几尺绢，又马上索取门户钱，并要他用驴将柴送至宫中。农夫啼哭流泪，把所得的绢付给宦官，宦官不肯受，说：“须得你的驴才行。”农夫说：“我有父母妻儿，等我卖柴换钱才有饭吃，现在把柴给了你却不拿钱回去，你还不肯罢休，我只有性命一条。”便揍这宦官。街使抓了农夫向皇上奏报，皇上罢黜宦官，赐给农夫绢十匹。然而宫市并未因此改变，谏官和御史上表章一一论说，都不听。吴凑作为外戚担任京兆尹，深刻分析了宫市的弊端。张建封入朝觐见，详尽禀奏此事，德宗深表赞许而采纳；而户部侍郎、判度支苏弁逢迎宦官心意，因入宫奏事，皇上询问他的看法，苏弁回答道：“京师游手好闲的失业者有成千上万家，在本地均无谋生之业，仰赖宫市为生。”皇上相信他的话，凡奏谏宫市的都不听纳。下达诏书怜悯百姓减免其拖欠未交的赋税，皇上询问张建封的意见，张建封回答说：“所有拖欠的赋税残额，都是累积多年无法征收的，虽蒙陛下哀怜体恤，百姓还是得不到什么好处。”那时河东节度使李说、华州刺史卢征都患中风，口不能言，脚不能行，只听任左右亲近胥吏裁决处事。张建封都一一禀奏，皇上表示赞同。又有金吾大将军李翰喜欢窥探城中琐事，加在奏章中禀告，希望求取皇上恩宠，人们对他既畏惧又厌恶。张建封将此事也禀奏皇上，皇上降诏说：“近来朝官有时与各处往来，金吾大将军皆向皇帝奏报。这当中，如果向来是亲戚老友，或曾为同僚，冬夏年节，时有往来，也是通常礼教，人情所通达的。从今以后，金吾不必上奏。”
贞元十四年(798)春，三月初一，皇上在曲江亭向宰臣和百官赐宴，特别令张建封与宰相同座而食。贞元以后，藩镇将帅入朝和返镇，如马燧、浑王咸、刘玄佐、李抱真、曲环这样品级极高的勋臣，没有一个能得到皇上御制诗为其送行。张建封将要返回藩镇时，皇上特别赐诗道：“牧守寄所重，才贤生为时。宣风自淮甸，授钺膺藩维。入觐展遐恋，临轩慰来思。忠诚在方寸，感激陈清词。报国尔所尚，恤人予是资。欢宴不尽怀，车马当还朝。谷雨将应候，行春犹未迟。勿以千里遥，而云无己知。”又令高品宦官带了自己所执的马鞭赐给张建封，道：“因卿忠贞节义，如松柏岁寒不移，这支马鞭为朕长久所执用，故尔用以赐卿，以表彰卿之忠节。”张建封又向皇上献诗一篇，以督促勉励自己。
张建封在彭城十年，军镇和州府均治理有方。加之又礼贤下士，无论贤达还是平庸的，只要来到他的门下，均以礼相待，天下名士闻风向往，如归家一般迅速前来投奔。贞元年间，文人如许孟容、韩愈等人，都做过他的僚属。贞元十六年(800)，患病，接连上表奏请迅速派员替代自己，刚任命韦夏卿为徐泗行军司马，人未到职张建封便去世了，时年六十六，册命追赠司徒。有子名张忄音。