魏知古，深州陆泽人。秉性正直，早有才名。二十岁中进士，授官著作郎，兼修国史。长安年中(703)，他升迁任凤阁舍人、卫尉少卿。当时睿宗在藩国为相王，魏知古兼任相王府司马。神龙初年(705)，他升任吏部侍郎，依旧兼修国史，不久晋升荣誉职位银青光禄大夫。第二年，母亲去世离职守孝，期满授晋州刺史。睿宗即位，以老臣召拜黄门侍郎，兼修国史。
景云二年(711)，他任右散骑常侍。睿宗女金仙、玉真二公主入道门，睿宗下令为她们各造一道观，当时正是夏季盛暑时节，还是不停工。魏知古上疏力谏，请求皇上“：以安养百姓为治政之本。为两公主造道观，原本是树功德来祈福佑。但建两道观之地，都是百姓的住宅，匆忙迫逼，令他们迁移，他们扶老携幼，投靠无门，怨叹于道路，这既背人事，也违天时，兴无用的劳作，重不急之事务，群心摇摇，众口藉藉。陛下为人之父母，心下怎么能安呢？况且国有简册，君王的一举一动都要记载，动则左史书之，言则右史书之。因此非礼勿言，非礼勿动。只有这样，国君的举动，才算是慎重的。小臣所在之职责就是谏诤，再加上拿着史笔，如写下陛下不合常礼的举动，后人会怎么看？臣认为盛暑修观不行。伏愿陛下俯顺人欲，仰察天意，降圣旨，下德音，速罢功役，在晚年能为民众造福。”睿宗未采纳魏知古的意见。不久，他又进谏：“臣闻百姓以君为天，君以百姓为本，百姓安定就是治政之理，根基稳固国家就安宁。自从陛下翦除凶逆，君临宝位，百姓仰慕其德，以为朝有新政。但现在风教衰败，日甚一日，府库空虚，人力凋敝，劳役不止，官员日增。现在朝廷各部门官差不多有二千余人，太府的布帛已尽，太仓的米粮难以供给，又加上给二位公主造道观这一非急务之役，臣先前请求停止这一劳役，但仍未停止。今年，前水灾后旱灾，五谷不熟，若到明年春天，一定有饥荒。陛下为人父母，想什么方法来拯救呢？疗饥拯溺，须及时。现在又加上突厥为患，时间很久了，他们本无礼仪，哪里会有诚信呢？今即使派遣使节，来请求结姻亲，但豺狼之人，哪里会稳定呢？他们乘中国饥虚，在和亲之际，倘若窥测侵犯，国家怎么提防呢？臣所论及之事，很是急切，伏愿陛下特垂详察。”睿宗嘉其恳切直言，不久命他为代理宰相。玄宗在当太子的时候，魏知古兼任左庶子。没多久，又迁任户部尚书，其他职务如故。第二年拜侍中。
先天元年(712)冬，魏知古跟随玄宗在渭川打猎，因献诗讽喻：“曾闻复太康，五弟训禽荒；工后来冬狩，三驱盛礼张。顺时鹰隼击，讲事武功扬。奔走未及去，飞鸟岂暇翔。非熊从渭水，瑞雀想陈仓。此欲诚难纵，兹游不可常。子云陈羽猎，僖伯谏鱼棠。得失鉴齐楚，仁恩念禹汤。邕愿谅在宥，亭毒匪多伤。《辛甲》今为史，《虞箴》遂礼彰。”玄宗看了，亲笔加以褒扬：“诗，志之所凭借，写出自己的心怀，实际可以讽喻君王。因此扬雄陈述《羽猎》，马卿赋写《上林》，从诗经的《风》、《雅》，大都因此道理。我顷向温泉，观风省俗，时乘闲暇，畋猎于渭川，网开一面，展三驱之礼，亲自校猎，逐追鸟兽自乐。未料卿有箴规，无时不忘助我，不是真诚心怀，哪能如此？今赐卿五色绸五十段，用来表达我对箴规的奖励。”
先天二年(713)，魏知古封为梁国公。窦怀贞等将谋反，魏知古密奏此事。窦怀贞诛杀，玄宗赐知古实封二百户，彩绸五百段。仍觉得前面的赏赐太少，又亲下诏书：“魏知古去年七月以前，多次陈善道来助我，竭尽忠诚，奸臣有谋，事先奏其征兆。事君之节，良有可嘉。可加赐实封一百户。”这年冬天，玄宗派他到洛阳主持吏部尚书之事务，认为他很称职，并亲笔表扬他“能端本革弊，忘私徇公，正色而行，忠心不屈。镜面光净则妍媸都可反映出来，衡量已经做的事则轻重分得清清楚楚。朕远闻卿的政绩，很是称叹，今赐卿衣裳一套，以示我的关怀。”
开元元年(713)，官名改换，魏知古任黄门监。开元二年(714)，魏知古还京，玄宗经常向他咨询，恩意很厚，不久又改任紫微令。姚崇很忌妒畏惧他，暗加诽谤，后改任工部侍郎，罢免了宰相之职。开元三年(715)去世。享年六十九岁。御史大夫宋王景闻知而叹息说：“叔向直道而行，有古之遗风；子产爱及后世，有古之遗风；能二者兼有的，恐怕应是魏公！”朝廷追赠幽州都督，谥号忠。
魏知古当初任黄门侍郎时，上表推荐洹水县令吕太一、蒲州司功参军齐遆、前右内率府骑曹参军柳泽；到主持吏部尚书事务，又提拔人才用密县县尉宋遥、左补阙袁晖、右补阙封希颜、伊阙尉陈希然，后来这些人都一直处在清要地位，时论认为他有知人的好眼光。他有文集七卷。