于是，吕布带着貂蝉浪迹天涯。当然，因为貂蝉一直没生育，他还娶了个姓严的女子，这个女子还给他生了个女儿，识大体的貂蝉主动降为小妾，于是她一跃超越貂蝉，成了大房。两女共侍一夫，倒也相安无事，其乐融融。刚开始，吕布也想称霸一方，诸侯割据，他自认无论武艺还是实力，他都有资格和资历和他们一较高下。可是，想想自己的兵力，他还是需要再找靠山，背靠大树好乘凉。于是，他投靠袁术，可是袁术不接纳，他再投袁绍，袁绍不搭理，就连公孙瓒，张邈都不给他面子。反正他投谁谁都不待见他，因为没有人想死，想想丁原，想想董卓，他们莫名就心慌慌，直到他遇上了刘备。彼时刘备刚有了徐州，心情战战兢兢、忐忑不安。吕布这时来投靠，无疑增加了刘备的信心。刘备要把徐州让出来给吕布，吕布也准备欣然笑纳，不要白不要。可是看看后面一脸愤怒的张飞，还在摸着美髯斜睨他的关羽，他赶紧再三礼让，主动退居小沛，甘当小弟，甘做绿花。刘备很是开心，也很是放心。他和吕布还兄弟相称，吕布年长做大哥，当然高傲的关羽和张飞都不认可他，我们的老大只有一个，他叫刘备，而你不配。刘备很是感动，不认不强求，更何况我刘备想当老大好多年了。
可是很快一个人坏了他的大事，他前脚刚离开徐州，带着关羽他们去和袁术手下的纪灵开练，留下坐镇徐州大本营的蛮张飞打人了，应该说是醉酒的张飞误了大事，他打了一个不该打的人，那个人叫曹豹。那人还有戴着个更大的名头，他是吕布的岳父大人(吕布到了徐州，又看上了曹豹之女，纳为次妾。)打狗都要看主人。可惜，在张飞这里行不通，吕布，就一三姓家奴，就一个臭杂碎。本来，张飞就想简单教训下曹豹，可惜，他说了句不该说的求情话：将军手下留情，看在我家女婿的份上，饶过小的。张飞很奇怪，你还有什么鸟女婿我认识?谁是你家女婿，曹豹说了让他后悔一生的四个字：“吕布是也。”好一个“吕布是也”，爷打的就是吕布，于是曹豹遭殃了，整整痛打50下，谁都拦不住，谁拦谁遭殃。曹豹直接被打得皮开肉绽，惨不忍睹，边打张飞还边骂吕布，把他祖宗十八代都问候了个遍。