“髡贼竟然从另一面登陆，从背后攻打，真是卑鄙之极！”从肇庆赶来虎门视察虎门防御的的李息觉“幸运”的躬逢其盛，此时他的面色惨淡，虽然嘴上说卑鄙，心里终于明白吕易忠到底是在一种什么用的心情下才写下那封书信的。
“不要紧，髡贼上岛之人不多，不过二三百人。”许廷发强作镇定。其实澳洲人的红旗和蓝白旗在上横档岛飘扬起来的时候，许廷发的心已经沉到了底。上横档一失整个虎门要隘已经失去了***效果。要想重建防御就必须夺回上横档岛。
他叫来一个偏将：“立刻募集死士三百人！每人赏银五两，准备渡海反攻上横档岛！事成之后每人赏十两！受伤的加赏五两！死的人赏二十两！”
“标下明白！”偏将立刻去了。这边他又命人准备舢板小艇，准备渡东水道反攻。
就在他调集人马准备反击的时候。10艘已经在上横档岛东炮台下锚停泊的炮击艇开始轰击了。
随着280mm臼炮发出雷鸣般的轰击声，一个个黑乎乎的铁球从浓烟中腾空而起。带着燃烧的尾巴落在炮台上，许廷发，樊文才等人辛辛苦苦，花费了数千民力，上万银子扩建整修的亚娘鞋炮台就这样在280mm臼炮的炮火下颤抖、塌陷下去。碎砖乱石被抛上天空，沉闷的爆炸声一声一声的传来，整个炮台似乎完全被烟雾所笼罩。
许廷发策划的反攻计划被完全打乱，这样猛烈的火炮之下，没有哪个傻瓜会为了五两银子跑到海滩上去“反攻”。
李息觉眼看着炮台被髡贼的开火炮打得四处生烟，处处冒火，墙倒台塌，却始终没有一次开炮的迹象，着急道：“我军的红夷大炮为何不发炮？”
“打不到！”许廷发不耐烦道，“这么远，只能落在水里！”
“什么？！红夷大炮也……”李息觉脸色煞白――他一直视红夷大炮是前所未有的军国利器，现在居然有比它打得更远，威力更大的大炮的存在。再加上观战至今，官兵只有挨打，没有一次有效的还击，愈看愈憋气，此时只觉得眼前一黑，竟然昏了过去。
许廷发已经顾不上这位总督衙门的李老爷了。他的反攻计划不但难以展开，这时候髡贼的船队居然已经进入到东水道来了。
要是上横档岛没有失守，就能狠狠的将澳洲人的船只“痛加洗剿”了！许廷发不无遗憾的想到。他还抱着一点希望：被炮火压制的亚娘鞋各炮台在看到敌船进入射程之后会冒着炮火开炮。
施十四的第五中队奉命利用炮击艇发射的榴弹产生的压制和烟雾效果，第五中队一直抵近到距离炮台正面380米处落下船锚固定船位，随后用侧舷火炮加入到炮击中。
380米的距离上炮台上的红夷大炮是有足够的能力给予这些特务艇重创的，但是被臼炮轰击三十分钟之后，所有炮台上的士兵死得死，逃得逃，敞开的炮位上已经没有放炮的士兵了。只见炮台工事在炮火中成片的坍塌，犹如沙土的城堡一般。时而炮台上的火药库被引爆，掀起一团黑火的火焰，直冲云霄。
接着又有二个中队进入东水道抵近炮击，经过一小时二十五分钟的炮击，亚娘鞋岛上各炮台全部失去战斗力，海兵和水手陆战队300人乘坐舢板登陆，从已经瓦砾遍地的围墙进入炮台。下午1707，所有炮台全部陷落。守台官兵出了丢下二百具尸体之外，还有大约四百人当了俘虏。
许廷发等人已经是面如土色，眼见着炮台陷落，不要说反攻，眼下继续留在武山恐怕连自己都要不保。眼下只有立刻退回虎门寨去死守了。许廷发正要调兵遣将安排撤退的事宜，只听耳畔有人喊道：“不好了！髡贼攻上山了！”
顿时，整个武山山顶上的中军大营立刻炸了锅，观战了一下午的官兵们毫无斗志，顿时如鸟兽散般四散溃逃，除了许廷发的少数亲兵还保持着镇定，护卫中军之外，整个中军大营已然乱成一团。
“大人，我们快走吧！”几个亲将不由分说的将许廷发等人拥上马去，簇拥着往山下逃去。