Летом 1496 года шведы нанесли Ивану III ответный удар. 19 августа 1496 года жители Ивангорода увидели, как с моря вверх по реке Нарове плывет целая эскадра (до 70 судов, до 5000 чел.) небольших шведских кораблей.
Воевода Ивангорода князь И. Бабич бежал из города, предоставив дело спасения крепости немногочисленному гарнизону, испытывавшему проблемы с боеприпасами. Князья И. Брюхо и И. Гундор стояли с небольшим войском недалеко от города, но не решились подойти и атаковать шведов. Шведы, из «пищалей огненных» разбив ворота города, вошли в него и жестоко расправились с немногочисленными защитниками. Дотла разграбив город и захватив несколько десятков пленных, шведы, обеспокоенные приближением большого псковского войска, вскоре ушли из города в море.
«Разгром шведами Ивангорода... едва ли не самая печальная страница отечественной военной истории времен Ивана III», — замечает историк и писатель Н.С. Борисов.
Русские скоро восстановили и усилили город, создали в нем запасы боеприпасов и продуктов питания. Великий князь
Иван III заменил воеводу, примерно наказав старого. Несколько лет ни воевать Ивангород, ни идти в глубь русских земель шведы более не решались.