孔绍安，越州山阴人，南朝陈时吏部尚书孔奂的儿子。少年时和哥哥孔绍新俱以文章知名。十三岁时，陈朝灭亡入隋朝，迁居京..县。绍安闭门读书，能背诵古文典集几十万字，表兄弟虞世南感叹称异。绍新曾对世南说：“本朝灭亡，分当朝没，只是看看我这个弟弟，私下以为家族不会灭亡了。”当时有个擅长文辞的孙万寿，与绍安友情笃厚为忘年之交，被当时的人并称为孙、孔。绍安大业末(618)为监察御史，那时唐高祖还在河东为隋朝讨伐贼寇，诏命绍安监督高祖的军队，很得接纳遇合。到高祖受禅即位时，绍安从洛阳隐秘地前去投奔。高祖见他来很高兴，授予他内史舍人官职，赐给住宅一处、良马两匹，还有钱米绢布等物。当时夏侯端也曾做御史，监高祖的军队，先于绍安归顺唐朝，授官秘书监。绍安曾在一次陪侍皇帝的酒宴上应诏命吟咏《石榴诗》道：“只为时来晚，开花不及春。”得到当时人的称赞。不久诏命撰写《梁史》，书未撰成而先逝。有文集五卷。
儿子孔祯，唐高宗时为苏州长史。曹王李明任州刺史，不遵守法令制度，孔祯常常进行规谏，李明说：“我是皇上的弟弟，哪里就会有失于为王呢！”孔祯说：“恩宠是不能依赖的，大王不奉行国法，恐怕今日的荣誉地位，不是大王所能保住的，难道没看到淮南王刘长的事吗？”李明听后不高兴。李明身边有人欺凌虐待老百姓，孔祯就把这些人抓起来杖打而死。李明后来果然获罪判刑，被贬谪到黔中(今湖南沅陵西)，曾对人说：“我愧悔没有听孔长史的话，以至于有这样的下场！”孔祯后升任绛州刺史，封爵武昌县子。死后谥号为温。
祯子孔季诩，早年知名，官做到左补阙。
绍安有个孙子叫孔若思。若思从小丧父，母亲褚氏亲予教育训导，于是以学识品行知名。年少时，有人带了褚遂良的几卷书法遗墨送给他，他只接受了其中一卷。这人说：“此种书法为今日人们所看重，价比黄金，为什么不全部收下？”若思说：“如果是价比黄金的话，我收下的就已经很多了！”又取出一半送还来人。考中明经科，后升任库部郎中。若思曾对人说：“官做到郎中就足够了。”从此将一石止水放置在座位右边，以表示止足不前的意思。不久转任给事中。中宗即位，敬晖、桓彦范等人主持国政，因为若思了解很多旧日典章制度，所以凡有改革大事及疑惑难决的问题，多来向若思进行咨询。后又转任礼部侍郎，出京任卫州刺史。在此之前，各州的别驾官职都用宗室的人担任，他们都不对刺史表示敬意，因此多做不法的事。若思到达卫州后，上奏别驾李道钦犯法的状书，请求加以审讯。于是诏命别驾对刺史行礼表敬，这点是从若思开始的。不久以廉洁方正著称，加官银青光禄大夫，赐绢绸一百匹。历任汝州刺史、太子右谕德，封爵梁郡公。开元十七年(729)去世，谥号为惠。