Когда крымский хан совершил опустошительный набег на Правобережную Украину и Южную Польшу, Иван III решил, что настало время вернуть Смоленск. С этой целью к Смоленску были посланы войска во главе с третьим сыном Ивана III от Софьи Палеолог — двадцатилетним Дмитрием Жилкой, с известными воеводами князем Василием Даниловичем Холмским и Яковом Захарьивичем Кошкиным.
В конце июля 1502 года Смоленск был атакован, но хорошо укрепленный город не удалось взять из-за отсутствия
с войсками «большого наряда». Несмотря на огромное количество пришедших под Смоленск русских войск (по-видимому, до 30 тыс. чел.), город взять не удалось. На помощь смоленскому гарнизону с большим наемным войском с запада вышел Великий князь литовский Александр Казимирович, и это заставило высокородного воеводу Дмитрия Жилку в сентябре 1502 года снять осаду города и отступить на исходные позиции.
Хотя осада Смоленска в 1502 году окончилась неудачей, Великий князь Иван III велел организовать войску и воеводам в Москве достойную встречу.