杜伏威，齐州章丘县人。少时豪爽放荡，不治产业，和同乡辅公礻石约为生死之交。辅公礻石多次偷窃姑家牧羊，以馈赠杜伏威，因州县捕捉急切，以故一起逃亡江湖为盗，时年仅十六岁。杜伏威狡猾而多谋略，每次抢劫，群盗采用其策总是见效。常常营护众盗，出为向导，入为殿后，因而得到其党羽的爱戴信服，共同推举他为首领。
隋大业九年(614)，进入长白山，投靠贼帅左君行，不得其志，因而舍弃而走，转而劫掠淮南地区，自称为将军。下邳贼寇苗海潮聚众打家劫舍，杜伏威派辅公礻石威胁说：“天下之人共苦隋朝政令，英雄豪杰各举大义，然而力弱势分不相统属，不如合兵以加强力量，那就不怕隋军威胁了。如你能为头领，我们必定服从，不然的话，就以一战来决雄雌。”苗海潮感到害怕，随即率其众归服于杜伏威。江都留守派遣校尉宋颢率兵讨捕，杜伏威与他交战，假装败退，引诱宋颢陷入芦苇泽中，从上风放火逼迫，其步兵骑兵烧死殆尽。海陵贼帅赵破阵听说杜伏威兵少，轻视他，派人招他合并。杜伏威率亲将十人携带牛酒拜见，命辅公礻石严整兵马以待事变。赵破阵引杜伏威进入帐幕，布置酒席，尽招其头目会面。杜伏威突然斩杀赵破阵，众人惊骇而救助不及，接着又杀了数十人，其部下全都畏服，辅公礻石兵马也赶到，于是吞并其众，达到数万之多。进攻安宜，大开杀戒。
隋派虎牙郎将来整战于黄花轮，杜伏威大败，身受重伤，与辅公礻石仅剩部下数百人，逃离而走，后收编散兵满八千人，与隋军虎牙郎将公孙上哲战于盐城，歼灭其军。
隋炀帝派遣右御卫将军陈眣统率精兵前往讨伐，陈眣不敢交战，杜伏威送以妇人之服，并在信中称陈姥，以激怒其军。陈眣果然全军到来，杜伏威自出挑战，陈眣部将射中其额头，杜伏威发怒说“：不杀你，我就不拔出箭来！”于是冲进陈眣阵中，大呼冲击，所向披靡，擒获射箭之人，让他拔出箭来，然后斩杀，携带其首级冲入陈眣军中夸示，又杀掉数十人，隋军于是大败而逃，陈眣逃脱而免难。
接着攻破高邮县，率兵渡过淮河，进攻历阳，占据之后自称总管。分兵巡略属县，所至皆下，江淮地区群盗纷纷归附。杜伏威选拔敢死勇士五千人，号为“上募”，待遇优厚，和他们同甘共苦，每逢攻战，必定先登。既战之后，检视伤在背后者杀死。有所缴获，必定分赏部下，战士阵亡，将其妻妾殉葬，所以人自奋战，所向无敌。宇文化及任命他为历阳太守，他不接受。后来移治丹阳郡，自称大行台。开始进用士人，修造兵械，减轻赋税，废除殉葬之法，民犯奸盗之罪及官员贪赃枉法者，不分情节轻重，一律处决。上表于越王杨侗，杨侗任命他为东南道大总管，封为楚王。
那时，秦王正在讨伐王世充，派遣使者招谕杜伏威，伏威献款归降，高祖任命他为东南道行台尚书令、江淮安抚大使、上柱国，封为吴王，赐姓李氏，录入宗正属籍，封其子杜德俊为山阳公，赐予帛五千段，马三百匹。杜伏威派遣其将陈正通、徐绍宗率兵相会，攻取王世充所占据的梁郡。还派遣部将王雄诞讨伐李子通于杭州，擒获以献。攻破汪华于歙州。
尽据江东、淮南地区，南接五岭，东至于海。秦王平定刘黑闼后，驻军于曹州、兖州一带地方，杜伏威因害怕而入朝。下诏授职太子太保兼行台尚书令，留居京师，位在齐王元吉之上，以示宠异。
杜伏威喜好神仙长年之术，服食云母中毒，武德七年(624)二月，突然去世。
起初，辅公礻石造反，假托杜伏威号令以欺骗属下，赵郡王孝恭平定辅公礻石之后，得其反书奏闻朝廷。高祖追夺其官爵，削去宗正属籍、籍没其家产。贞观元年(627)，太宗知其冤枉，下诏恢复官爵，以国公礼节重新安葬，照旧例归还其子封爵。