到了后来，敌我双方不约而同地开始比赛“搭积木”，你修高城墙，我堆高土方。唐军连强攻的心情都没有，每天拿着板锹推着小车“搞工程”，只待有朝一日垒好土坡，早日破城而入。

这一天，事态迎来了转机，高句丽的工程质量有点差，以至于土山塌方砸坏了城墙。这时，站在土坡上的唐军都惊呆了，难攻不落的城墙竟已全部垮塌，安市城中的景色一览无余。

然而，高句丽军却抢占了先机，率先出城杀了唐军一个措手不及。唐军已经挖了几个月的土方，每天枯燥的填土使他们忘了此行的目的。见高句丽人杀出，唐军立马抄起手中的板锹迎上，结果可想而知。

此时的唐军，已无力再组织下一次总攻，因为在这几个月的时间里，他们已经吃光了粮草。而且，天气逐渐转寒，如果继续在安市作战，没准这些人马全都要交待在朝鲜半岛。没办法，既然强攻智取都不成，李世民只能宣布班师回朝。

临走的那天，安市的守军将领特地跑到土山上，欢送自己的死对头。李世民倒也豁达，慷慨地接受了自己的失败，而且还派人送这位高句丽司令一些绸缎作礼物，并对他出色的作战指挥大加赞扬：“你小子打得不错，有机会来我大唐集团干，肯定给你安排个好差事。”

当然，后面这句话是臆想的，不过结合当时的情景来看李世民想表达的意思与这句话八九不离十。