在狱中，英布自有一帮小兄弟，俨然和在外边时一样当大哥，且和狱中各帮派大哥关系很好。又后来遣往骊山工地修陵墓，英布又与工地上各路豪杰大哥来往密切，並私下秘密联络了几伙弟兄，寻机逃出了骊山工地。从此浪迹江湖，英布又悄悄逃回家乡六城，在山水间为群盗之首领，每碰到故人，品行似是更加放浪了，常指着自已脸上说：“我即已黥，便离为王不这了，哈哈…。”不以为耻，反以为荣.还喜洋洋的大言不惭，”从此我不叫英布，我叫黥布了。”因之，人人皆称之为黥布。
秦二世元年深秋的一天，一帮弟兄相约提酒挈肉来见英布，说：“天下现在大乱了，陈胜起义了，江东的项梁也起义了，天下造反的义军多如牛毛，我们也造反吧，你来当头。”
英布一听格外高兴，说：“好极啦，就等这一天呢，我当王的机会来了。”
为起义成功，英布特意去拜访一人。此人乃附近的秦官，名叫番君吴芮，颇得百姓喜爱尊敬，乃秦官中之另类，亦是江湖上颇负盛名之前辈。
番君一见英布，大喜过望，说：“造反之事，我早有此意，你小子有志气，想干一番大事业，不愧为当世英杰，我出钱出力帮助你，咱们共同干大事。”
两人一番谋划，制订了绝对稳妥的起义计划。
几天后，英布带领召集来的几百弟兄，在番君的帮助下，鼓噪着抢占了六城。
番君见英布果然有胆有识，有勇有谋，是个干大事的好材料，难得的大才，十分看好他，当即决定把自已最珍爱的女儿嫁给英布为妻。
英布干得更来劲了，如今一下子变成成家立业了，不是江湖混混了，可他感觉虽然自已已有几千军兵，但力量还是太弱小。一颇有头脑的六城绅士来见英布，说：“放眼天下义军，能成大事者，唯有项梁，其人乃楚国大将项燕之子，才能超强，深孚众望，若率军往投之，大事可成，将来必有大富贵。”
英布甚觉有理，番君吴芮也认为此策乃上上之策，当下英布率军前去投靠项梁。