Генрих Латвийский сообщает, что Всеволод был сын князя Полоцкого, но неясно какого - Владимира или Бориса Давыдовича. Немецкая хроника застает его, уже сидящим в Герсике. Генрих говорит, что Всеволод был страшным врагом христиан, преимущественно латинян; он женат был на дочери литовского князя, был с литовцами в постоянном союзе и часто являлся предводителем их войска, обеспечивая им безопасную переправу через Двину и снабжая съестными припасами.

В 1209 году епископ Рижский Альберт внезапно напал с большим войском на Герсик и овладел им. Всеволод успел спастись, уйдя на лодках через Двину, но жена его со всею прислугою попала в плен. Немецкое войско пробыло целый день в городе, собрало большую добычу, снесло изо всех углов города платье, серебро, из церквей - колокола, иконы и всякие украшения. На следующий день немцы собрались в обратный путь и подожгли город. Когда Всеволод увидел с другого берега Двины пожар, то стал жалостно вопить: "Герсик! Любимый город, дорогая моя отчина! Пришлось мне увидеть, бедному, сожжение моего города и гибель моих людей!" Епископ и все войско, поделивши между собою добычу, с княгинею и со всеми пленниками возвратились в Ригу, куда послали звать и Всеволода, если тот хочет получить мир и освободить свою семью. Князь приехал в Ригу, называл епископа отцом, всех латинян - братьями, просил только, чтоб выпустили из плена жену и других русских. Ему предложили условие: "Хочет он отдать свое княжение навеки в дар церкви св. Богородицы и потом взять его назад из рук епископа, так отдадут ему княгиню и других пленников". Всеволод согласился и поклялся открывать епископу и Ливонскому ордену все замыслы русских и литовцев, но когда возвратился домой с женою и дружиною, то забыл обещания, начал опять сноситься с литовцами и подводить язычников против немцев. Кукейносские рыцари призвали его к ответу, Всеволод не являлся; тогда рыцари в 1214 году подступили внезапно к городу, взяли его хитростью, ограбили жителей и ушли назад. В следующем 1215 году немцы опять собрали войско и в другой раз овладели Герсиком, в другой раз опустошили его. Но Всеволод уже успел послать к литовцам за помощью; те явились, принудили немцев оставить город и нанесли им сильное поражение. По другим сведениям, немцы на этот раз убили Всеволода, и город его окончательно разрушили. Если верить первому источнику, то Всеволод был жив еще в 1225 году.