张公谨字弘慎，是魏州繁水县人。
初任王世充洧州长史，与刺史崔枢一道举城归附朝廷，授职检校邹州别驾，历任右武侯长史，未为知名。李责力、尉迟敬德多次启奏秦王，方才用为秦王府官员。
秦王准备讨伐隐太子与巢王之乱，命卜筮占卦，公谨自外而入，投龟于地说“：占卦是为了定犹豫，决嫌疑。现在事已无疑何必占卜？如占卦结果不吉，其事能停止吗？”秦王说：“对。”隐太子死后，其徒攻打玄武门，兵锋甚锐，公谨独自关上大门抵御。因功授职左武侯将军，封为定远郡公，赐实封一千户。
贞观初年，出任代州都督，设置屯田以节省运粮之费。多次上言时政得失，太宗多采用。后来作为李靖的副手规取突厥，条奏突厥可取之状于太宗说：“颉利放纵嗜欲肆其凶暴，诛害善良之士，亲近奸邪小人，君主昏庸于上，这是头一条可攻之处。别部同罗、仆骨、回纥、薛延陀之徒，全都自立君长，谋图反攻，众叛于下，这是第二条可攻之处。突利被疑，以轻骑逃跑，拓设出兵征讨，众败不归，欲谷丧失军队，无立足之地，兵挫将败，这是第三条可攻之处。北方霜旱为灾，粮草缺乏，这是第四条可攻之处。颉利疏远突厥族人，亲近诸胡，胡人性喜反叛，大军一到，必生内变，这是第五条可攻之处。华人在北边者很多，近来闻知自相屯聚，保据险阻，大军一出，必有响应之人，这是第六条可攻之处。”太宗赞同其议。到攻破定襄，打败颉利后，下达诏书慰劳公谨，进封他为邹国公，改任襄州都督，在任期间有惠政上闻。去世时正在任上，时年四十九岁。太宗要出行临哭，有关官员说：“时日在辰，不可哭泣。”太宗说“：君臣如父子，情动于内，怎能避开辰日呢？”照样哭泣。下诏赠予左骁卫大将军，谥为襄。贞观十三年(639)，追改郯国公。永徽年间，加赠荆州都督。
其子大素，龙朔年间历任东台舍人，兼修国史，著书百余篇，死于怀州长史任上。
次子大安，上元年间任同中书门下三品。章怀太子命他与刘纳言等人共注范晔的《后汉书》。太子废后，被贬为普州刺史，死于横州司马任上。其子张悱，玄宗时任职集贤院判官，下诏将其家所著《魏书》、《说林》收入院内，修补缺失，历任知图书、括访异书使、国子监司业，因受连累罢官。