江青一直没有忘记许建国。在“文革”浪潮中，许建国遭殃了。
新中国成立后，许建国历任天津市公安局长、市委书记，上海市公安局长、副市长、市委书记。
1954年11月，许建国被任命为公安部副部长。
1958年下半年，根据陈毅的建议，中央决定调许建国到外交部工作。
1959至1964年，许建国出任中国驻罗马尼亚大使。1965年起，任中国驻阿尔巴尼亚大使。
1966年5月，许建国陪同阿尔巴尼亚部长会议主席谢胡到中国进行访问之后，就留在国内参加“文化大革命”。
1967年底，江青在天津接见造反派的时候，点了许建国的名（许建国曾任天津市公安局长、市委书记），称许建国是“特务”、“叛徒”，并说许建国在暗中整了她许多年。
江青一声令下，外交部造反派就对许建国实行“隔离审查”，并成立了“许建国专案调查组”，对许建国进行内查外调。
1968年3月11日，许建国被关进秦城监狱，关押达七年之久……
许建国得罪江青，不仅仅是当年江青在许建国手下当“网员”的时候，曾经受到许建国的严厉批评。使江青记恨在心的是，在江青要与毛泽东结婚时，中共中央政治局常委朱德、周恩来、刘少奇、任弼时就此事征求中央保卫委员会的意见，许建国明确表示反对。
1943年，在延安整风审干期间，许建国从晋察冀回到了延安主持审干工作，住在边区党校一部。尽管江青已经是毛泽东夫人，也受到审查。江青求助于许建国：
有一天，很久不见的江青突然来找他，还带来了两条烟、两瓶酒。寒暄了几句之后，江青迫不及待地进入了正题：“老领导，现在你主持整风审干工作，所以我专门来找你，想请你当我的历史证明人。”许建国一听当即说：“关于你在我这儿工作的一段，我可以负责证明，至于过去的历史，你就要再找有关的人证明了。”江青忙又说：“哎呀，老领导，你全部给我证明了算了，反正我过去的历史你都了解。”许建国很严肃地说：“了解只能是了解，了解的情况可能是正确的，但是也不能排除有重大的错误，对于你在上海的那一段历史，我确实无法当你的证明人，如果我当了，这就违背了组织实事求是的要求和原则。”[12]
许建国当面拒绝了江青的请求，使江青十分难堪。
新中国成立后，许建国担任上海市公安局长、副市长、市委书记，无意之中，又“冒犯”了江青。
那是1953年春，许建国到北京去开会。会议结束之后，毛泽东单独召见了他。毛泽东依然叫他本名杜理卿，说道：“你是上海市的公安局长，回去之后请你把这些东西带给子珍，以后多多照顾一下。”当时，贺子珍住在上海。说完，毛泽东拿了一些钱和物品交给许建国。
不言而喻，毛泽东跟许建国有着多年的友情，正是出于对许建国的信任，才把这样私密的事拜托许建国去办。
此后，毛泽东多次请许建国转交物品给贺子珍。也正是因为毛泽东的托付，许建国在上海多次前去看望贺子珍，关心贺子珍的生活。
不料，江青得知此事，对许建国充满恨意。
使江青不快的，还有那起匿名信案件——“18号案”。这一发生于1954年3月的匿名信案件，由于信是从当时的上海寄往江青所在的杭州，而匿名信所写的又是江青在20世纪30年代在上海的丑闻，因此公安部部长罗瑞卿把破案任务交给了上海市公安局长、副市长、市委书记许建国。于是，许建国由于要侦办“18号案”而了解了江青20世纪30年代在上海的种种情况。
1954年11月，许建国调离上海，前往北京出任公安部副部长，“18号案”尚未告破。
后来，许建国的夫人方林回忆说：
1967年春，就在首都外交口闹腾着夺权，陈毅副总理处于困难的时候，许建国被周恩来叫到北京饭店，查询他在上海工作期间由罗瑞卿部长交办的关于调查江青30年代历史问题的一封匿名信的处理情况。许据实以告，并说问题没有查清他就调离上海，结果如何他不知道。
在场的张春桥狂妄地责问：“这件事我怎么不晓得？”
许建国说：“你当时是市委宣传部的一个副部长，不该你知道的事情多了。”
张春桥瞠目结舌，无言以对。
1967年底，江青在天津接见造反派时，点了许建国的名。此后，造反派几次来抄家，索要材料。许建国预感到形势将会更加严峻。为防止意外，他一方面将多年积累的材料及重要笔记忍痛销毁，一方面嘱咐我说：“我可能被捕，而且短期内回不来……要相信党，我总会回来的。”[13]
许建国果真被捕，被关押在秦城监狱，倍遭折磨。
直到1975年邓小平主持中共中央日常工作，大批受迫害的老干部处境有所改善。这一年的5月，被关在秦城监狱七年、年逾七旬的许建国被送往安徽六安“养起来”。
如方林所忆，由于长期的单独关押和摧残，许建国出狱时已身心憔悴，面容枯槁，行动都不那么正常了。
1977年初，许建国查出患未分化型肺癌，已是晚期。他在生命的最后时刻，向党中央提出了申诉。他在申诉书中写道：
几十年来我长期在毛主席身边和党中央周围做保卫工作，由于我在延安时期，特别是在上海工作时期了解了一些江青的问题，所以江青（“四人帮”）在“文化大革命”的过程中，利用审干的机会，对我进行残酷的迫害，采用逼供信的手段，给我扣上了叛徒、特务的大帽子，企图使我至死不能翻身。几年来，由于江青的专权横行，所以我有话不能讲，有话讲不清，以英明领袖华主席为首的党中央一举粉碎了“四人帮”，我和全国人民一样是很高兴的，感到党有希望了，我们的国家有希望了，所以我再次向中央要求对我的历史进行重新审查。
目前，我身患肺癌，已经扩散，可能不久于人世了，我迫切地要求能在我死之前，看到党对我历史作出符合历史事实的正确结论……现在我虽然病重，但仍在坚决地与疾病斗争，与“四人帮”斗争，生命不息，战斗不止。
许建国在发出申诉书之后，写下一首诗：
昨夜沉思未成眠， 革命生活忆当年。 身患重病何时好， 治疗诉书迎春天。
然而当时中央遵循的是“两个凡是”。1977年10月4日，重病中的许建国盼到了中共安徽省委组织部来人，他们带来了中央的审查结论。来人宣布，经“中央三办”[14]对许建国的历史做出审查结论，认为许建国参与“黑调查”问题属实，“叛徒”问题属实，中央决定将许建国定为“叛徒”，清除出党！
许建国陷入极度愤怒之中，当场气绝身亡。
直到1978年底中共十一届三中全会以后，众多的冤假错案得以昭雪。1980年3月，中共中央为许建国平反。公安部、外交部联合在北京中山公园中山纪念堂为许建国举行追悼会。邓小平、叶剑英、李先念、陈云、胡耀邦、宋庆龄、徐向前、聂荣臻、彭真、邓颖超、王震、乌兰夫等中央领导献了花圈，李先念等参加了追悼会。时任公安部部长赵苍璧致悼词。追悼会后，许建国的骨灰被安放在八宝山革命公墓骨灰堂。