张飞这种遇到围殴就先集中全力干掉一个的做法并不稀奇，只能说曹豹的运气实在是太差了点。
吕布恨懊恼，曹豹可是自己的岳父，有他在，自己在徐州的日子就能好过许多。张飞的行为彻底的激怒了吕布。吕布亲自率军冲锋在前，杀向张飞。虽然张飞麾下装备了足够的连弩，但是因为杀曹豹的耽搁，吕布的三千骑兵早已杀到了近前。而且，刘备麾下可造不出一模一样的弩箭箭矢，也就导致了连弩的发射并不是很流畅。如此，面对骑兵冲阵，张飞的连弩就有些效果不佳了。
看到这种情况，张飞只能选择尽快撤退。张飞想回城，却发现城门早已关上，他的麾下一靠近就会被城上的弓箭手给射退。张飞和曹豹的军营都是在城外的，这就是两股势力谁也不服谁导致的。而徐州本地势力要控制下邳城，自然是轻而易举。
见此，张飞只能往南撤退，和刘备汇合去了。但是面对骑兵，岂是你想退就退的，吕布一路掩杀，杀得张飞几乎全军覆没，只有他自己和十几个有马的手下能够狼狈的逃脱。
刘备此时正和袁术麾下大将纪灵打得有来有回，张飞的突然到来，着实吓了他一跳。了解了事情的来龙去脉之后，刘备有些后悔把张飞留在了下邳。如果换成是自己，完全可以先一步抢占下邳，坚守等待援兵。
随即，刘备又无奈的摇头，现在自己信得过的手下就只有张飞和关羽，而这两位兄弟的性格实在是让他不敢恭维。刘备很愁，愁人才，愁帅才。
下邳自然是不能就这么丢掉的，所以刘备立刻抛弃纪灵，杀向了下邳。
刘备三兄弟率领五万大军来到下邳城下，刘备驱马上前，对着立于城头的吕布喝问道：“奉先，何故欺我，夺我徐州基业？”刘备的人设还是很君子的。
吕布淡淡道：“张飞杀我岳父，此仇不共戴天，玄德以为当如何？”
刘备道：“此乃尔等密谋徐州在前，如何怨得了三弟！备予你小沛，予你粮草，你却夺我基业，此忠义之士乎？”
吕布确实是有些心虚的，刘备确实是限制了粮草，但是刘备没道理一直给他免费送粮食。因为谁都知道他吕布是不可能臣服于没什么实力的刘备的。刘备只是没实力，但不是傻子，自然也不会相信吕布。
吕布还在心虚之时，陈宫就已经接过了话头。
陈宫道：“刘玄德，多说无益。你且看看此刻立于城上之人。”
刘备闻言才认真打量起城头上的众人。他之前确实没有注意其他人，因为他自问和吕布之间还没有到背后捅刀子的地步，所以一上来就开始质问吕布。
这不看不知道，一看吓一跳。徐州的大多数世家代表都在，而且眼神淡漠，似乎刘备在他们的眼中就是一个陌生人。
没等刘备说什么，只见这些人淡淡的朝着城下挥一挥手，刘备身后的大军立刻开始了骚乱。
刘备骑在马上，有些疑惑，回头一看，差点一口老血喷出。只见后方的军阵中，正有一队队的兵士在脱离军阵，不到一刻钟就走了一大半。
刘备自然是能够明白这是怎么一回事。他麾下的士兵有些是世家提供的私兵，有些是他招募而来。但是大部分招募来的士兵应该也是这些世家所安排的。
不战自溃，不战自溃啊！刘备自诩一直与世家交好，没想到还是得到了这样的结果。关羽和张飞快马来到已经失魂落魄的刘备身边。关羽焦急的喊道：“大哥，此地不宜久留，当速速撤退。”他们也已经看懂了，所以他们没有去强行约束士兵的离去，而是赶紧把刘备保护起来，撤离这里。
吕布并没有去追击刘备，他心里也不想做的太过。而且吕布还将刘备及其麾下重要文武的家眷都保护了起来。吕布很好的做到了“做人留一线，日后好相见”。
而刘备众人逃出了一段距离，见吕布没有追来，就停下来收拢残兵。留下的才是真正可以用的。
刘备集合一万多残兵，索性往南突袭广陵郡。如果攻下徐州最南面的广陵郡，就能与廌军隔江相望。凭着自己和赵云的关系，刘备觉得廌军一定会帮他站稳脚跟。
刘备从之前的大败中领悟到了一招，他将七千士兵打散，以百人为一队，化妆前进，自行前往广陵汇合。
纪灵知道了发生在下邳事情后，立刻派出探子，侦查刘备大军的动向。这些探子都是战场经验丰富的老兵，奈何他们急于找到刘备大军的踪迹，对百人队伍路过的痕迹自然就没有放在心上。所以他们根本就没有找到刘备的踪迹。等到他们意识到百人队伍的踪迹太多太频繁的时候，刘备的大军已经出现在了广陵郡的治所射阳县城外。
广陵郡太守赵昱死后，一直是陈登在管理广陵，这里是他的老巢，岂容刘备染指。而且陈登可不是纪灵，他是时刻都在关注着各方势力的举动。刘备分散的兵力一进入广陵郡，陈登就得到了汇报。百人队虽然能够隐藏大军的踪迹，但是数量多了，就引起了陈登的怀疑。
陈登很容易就联想到了刘备战败的溃兵。他立刻下令整个广陵进入战备的状态。
刘备是奔着把广陵占为己有来的，所以对待百姓很是友好，绝对不干劫掠百姓的事情。但是刘备大军的粮食可不多了，此战只能是速战速决。所以刘备在重新集合大军之后，直扑治所射阳县。只要拿下了射阳县，掌控了那些世家的生死，整个广陵郡就能轻松拿下。这一次他不再信任徐州的世家，决心要把世家的势力彻底的掌握在自己手中。
陈登此人也是一个博学且聪慧异常之人，刘备遭到世家的背叛，陈登自然不会把自己的性命交给刘备。陈登死守城池的同时，也把刘备大军的踪迹泄露给了纪灵。
刘备猛攻数日都没能登上射阳城的城头，无奈之下，只好挥师南下，进攻广陵城。