Сам рижский епископ в 1206 году пожелал заключить с полоцким князем мир, однако его попытка окончилась безуспешно. Князь Владимир Полоцкий начал приготовления к походу. Описывая все эти события, ливонский хронист приводит один интересный факт: по дороге в Полоцк немецкое посольство было ограблено литовцами. Этот факт свидетельствует о напряженных отношениях, существовавших в то время между воинственным полоцким князем и не менее воинственными литовскими племенами. Вероятно, только активная деятельность полоцкого князя Владимира сдерживала литовских князей от крупномасштабной афессии. Конфликт 1206 года между Полоцком и немецким орденом не сразу перерос в вооруженное столкновение, поскольку князь Владимир Полоцкий понял, что эффект внезапности не будет достигнут. Состоявшиеся мирные переговоры не привели к успеху.
Летом 1206 года князь Владимир Полоцкий предпринял поход на крепость Гольм. В течение 11 дней два десятка немцев отбивали настойчивые атаки полоцкого войска от стен города, в то же время приглядывая за полутора сотнями ненадежных латышей внутри города. Получив провокационное донесение о подходе новых крестоносных сил, князь Владимир снял осаду с уже едва державшегося замка, спешно сел на свои суда и отплыл восвояси.
Осада Гольма для полоцкого князя окончилась неожиданной неудачей.