由于地形的限制，荆州最多只能一次投入两千人攻打平安堡，分为东、中、西三个方向进攻，而城堡上的五百守军也同样分为三线防御，他们居高临下，占尽了地利，使荆州军死伤惨重，却始终难以攻下这座坚堡。
负责西线进攻的荆州军将领是一名军侯，名叫赵潜，他们是投入的第三批荆州军，在他们之前的两千士兵已阵亡大半，这一次李严下达了死令，拿下城堡重赏，拿不下城堡皆斩，这使军侯赵潜背负了极大的压力。
在一座被烧毁商铺的断壁残垣后面，赵潜召集五名屯长商议对策，一名屯长愤愤道：“最容易攻下城堡的是东面，我们这边最难打，连东面都攻不下来，让我们西线怎么打？”
“放屁！”
赵潜怒骂道：“你有种向太守去说，别在老子面前说这些没用的屁话，明天天亮前拿不下城堡，老子人头落地，你们也休想活命！”
众人都沉默了，这时，一名身材瘦小的屯长道：“我琢磨着，咱们能不能从南面试一试。”
“可南面背靠山崖，连立足之地都没有，怎么试？”另一名屯长立刻反对道。
“就因为几乎不可能进攻，所以南面才没有什么守军，其实城堡高大坚固倒不是问题，关键是守军太凶狠。”
“别扯了，南面根本不可能，怎么爬上去？被发现了，只用一块石头就全部砸死。”
众人纷纷反对，赵潜也觉得不太可能，但除此之外，他又无计可施，他便问提方案的屯长道：“你觉得爬得上去吗？”
“卑职在山里长大，从小跟随父亲去采药，比这个更陡峭的山崖都爬过，我只要带五个弟兄，混进堡中伺机行事。”
赵潜想了想，就算他们几个人死了也无所谓，他终于答应了，“假若能成功，我把赏金分你一半，另外，我会从前面进攻，配合你们的行动。”
平安堡背靠一座十几丈高的山崖，山崖下便是滔滔长江水，尽管城堡和山崖之间有一条长约一尺的空隙，但从正面绕到城堡后背，几乎是不可能，只能乘船到山崖下，再沿着山崖向上攀爬。
执行这个任务的屯长名叫任平，是南郡枝县人，从小在山区中长大，祖祖辈辈都以采药为生，任平也从六岁起便跟随父亲上山采药，十八岁时加入南郡军，至今已经七年，累功升为屯长。
任平一直属于刘备的军队，在去年跟随王威偷袭襄阳时被江夏军俘获，正式随大军转为刘璟的江夏军。
任平身材瘦小，立功的机会并不多，而这一次他知道自己机会来了，尽管他也知道这件事的风险极大，但升官发财的欲望促使他甘愿冒险。
他从五百士兵挑选出了五名跟随他的勇士，这五人都和他一样身手敏捷，极善攀登。
今晚他们的运气不错，彤云密布，星月遮蔽，天地间一片漆黑，几步外就看不见人影，是趁夜偷袭的大好良机，在夜色的掩护下，任平率领五名手下乘船到了山崖下，徒手向山攀登。
山崖虽然陡峭，但长满了粗壮的藤蔓，使他们的攀登非常顺利，不到半个时辰，他们便攀上悬崖，后背紧紧贴靠城堡，站在一尺宽的空隙上，再向上攀爬却不容易了。
城堡是巨石砌成，巨石之间严丝合缝，向上攀爬毫无着力之处，但对于任群他们而言，爬上去并不难，难的是不能被敌军发现，他们没有急着动手，而是在耐心地等待机会
李严也亲自到了平安堡下，他刚刚得到信陵县传来的消息，对岸斥候发现了一万多刘备军队，正在对岸码头集结，准备天亮后渡江。
这便使李严心中十分紧张，他现在已经不是担心怎么向刘璟交代的问题，而是刘备军一旦渡江成功，他们的巴蜀战略将遭到沉重打击，甚至刘备只要扼守住秭归城，便可以从容入蜀，而他们却无能为力。
只有拿下平安堡，他们才能狙击刘备军渡江，此时李严也知道六名勇士从后面攀城的情报，他算了算时辰，可以进攻了，他当即下令道：“传我的命令，全线进攻城堡！”
“咚！咚！咚！”荆州军鼓声大作，两千余士兵从三面向平安堡发动了进攻，喊杀声震天，奔跑的人群仿佛大潮奔腾，箭矢如雨，铺天盖地射向城头。
城头上的五百守军全部上城防御，一块块大石滚木向城下砸去，大石翻滚，砸入人群之中，瞬间砸翻了七八人，一架攻城梯子搭上城头，立刻被叉子推出城头，长长的梯子向后翻去，梯子上的数十名士兵发出长长的惨叫声。
刘备军居高临下，用箭射，用石头、滚木砸，反击犀利，使进攻的荆州军死伤惨重，但李严却不准士兵退下，他不断下令继续增兵，不计一切代价地拼命攻城。
在城堡南面的六名勇士等待就是这个机会，荆州军攻城凌厉，使南面没有了守军，只剩下两名岗哨，而且他们的注意力都放到了前方的战斗上，没有注意到身后的异常。
任平经验丰富，他从小就会制作攀爬悬崖的工具，他们慢慢竖起三根数丈长的竹竿，竹竿前端装有大铁钩，钩住了上面的城头，六人分为三组，沿着竹竿迅速向上攀爬。
任平第一个攀上城头，他单手扶住城垛，慢慢露出一双眼睛，南面果然已经没有了巡逻士兵，只有两名哨兵站在两边转弯处，他们正全神贯注地眺望前方的战斗，根本没有意识到身后的危险。
另一名手下也攀上了城头，两人点点头，从后背取下军弩，单臂持弩，交叉瞄准了两名哨兵，他们箭尖上涂有剧毒，见血封喉，两人几乎同时扣动了悬刀，只听‘咔！咔！’两声，两支弩箭闪电般射向哨兵。
两名哨兵发出一声闷叫，便软软倒地，任平大喜，一跃跳上城头，另一名士兵也跟他跳上城，两人分头行动，将两具尸体抛下了长江，其余四人纷纷顺竿爬上城头，六人都身着刘备军的军服，迅速向前方城头跑去。
此时前方的战斗打得异常激烈，尽管荆州已死伤数百人，但他们也突破了敌军的巨石滚木阵，将数十架攻城梯搭上城头，荆州军士兵执盾持刀攀城而上，和城头上的守军激烈交战。
任平带领五名手下，混入了守军之中，混乱中，没有人会注意他们是否与众不同，在上城之前，任平便和他的上司商议好了应对之策。
他率领五名手下冲到西北角，这里是一个死角，进攻方上城的角度很小，只需数人便可以守住这个角落。
此时这里并没有进攻的梯子，他们六人守住了这个角落，任平从城头拔下一根火把向城下砸去。
火把在空中划出一道弧线，落入了城下的荆州士兵中，这就是一个信号，一直在城下等待的赵潜看见了火把抛下，他心中大喜，立刻禀报李严，“禀报太守，我们弟兄得手了。”
李严心中也生出一线希望，他点了点头，“就看你们了！”
赵潜一挥手，“跟我上！”
他带着一百多名扛着梯子向西北角冲去，梯子搭上城头，赵潜手执巨盾和长矛率先向城头攀去，这时，一名牙将看见这架攻城梯，大喝道：“守住西北角！”
任平应声大喊道：“弟兄们守住，绝不让敌军上城一步！”
他们六人封住了所有的角度，将奔来助战的十几人挡在身后，六支长矛封锁住登城口，没有用滚木和巨石向下抛砸，也没有用钢叉向外推开梯子，只是用长矛毫无意义地撬挑梯子。
这种极为被动的防守姿态使城头主将勃然大怒，大骂道：“西北角那几个蠢货，让他们滚开！”
十几名军纪兵执棍奔来，劈头盖脸打去，后面的士兵见他们防守不力，也纷纷推攘，企图将他们推开，这时，两名士兵抬着一根百斤重的木头挤上前，准备将木头向下砸去。
形势十分危急，任平忽然大吼一声，“动手！”
六人同时反戈，用长矛战刀向守军杀去，长矛刺穿了抬木头士兵的后背，将这两人刺翻在地，其余守军被杀死四五人，吓得众人纷纷后退，突来的变故使城头一阵大乱。
为首牙将大吃一惊，他立刻意识到了什么，嘶声大吼：“快杀了他们！”
数十名士兵挥矛冲向六人，六人巨盾拼死抵抗，就在这千钧一发之时，军侯赵潜一跃上城，长矛向敌军刺去，将一名什长迎面刺翻。
后面士兵接二连三冲上城头，坚固的城堡终于被撕开了一条防线，从数十人增加到百人，从一架攻城梯上城增加到十几架攻城梯登上城头，攻上城头的士兵越来越多。
半个时辰后，用生铁铸成的城堡门轰然开启，洪水般的荆州士兵冲进了城堡之中，荆州军大旗在城头高高飘扬，平安堡失陷了，荆州军终于控制了码头
虽然荆州军并没有攻下秭归县，但他们却攻克平安堡并占领了码头，并用泥袋修筑工事，并投入三千士兵用弓弩防御刘备军登陆。
尤其平安坚堡紧靠码头，居高临下，可以很轻易地打击靠岸的船只，这便再一次截断了刘备军和夷陵道的联系，使刘备军无法大规模向巴东发动攻击，危急的局势被稍稍挽回。