Военные действия начались 20 или 21 мая 1654 г. На Невель двигалось войско в 15 тыс. человек. Русские войска во главе с сыном Шереметьева Матвеем окружили город 31 мая и заняли — 1 июня. В письме царю Шереметьев сообщает, что «июня в день 1…невельские сидельцы воевода Ян Кормановский и товарищи пришёл з знамёнами в обоз к ним, боярину и воеводам и … государю добили челом и город здали.» Осенью 1655 г. Воевода Хомутов, который проводил осмотр города и замка пишет царю о следующем. «Невель — литовского поставленья, Большой и Малый городок, по старой описи в ниских террасах ставлен, стоячих тынов брёвен лес сосновый и еловый, и при Литве, государь, в Большом городе и в Малом городке бревенье подгнило и посланялось в городе и за городом местами повзволялось и на остроге мосты около стен погнили и обрушились…»
На некоторое время военные действия переместили далеко от Невеля, в котором в это время находился русский гарнизон и рота в 44 человека невельской шляхты во главе с ротмистром Б. Камаром и поручиком С. Ясимонтом."
Вмешательство в войну Швеции способствовало временному примирению России и Речи Посполитой. После переговоров 1655 г. Военные действий на Невельщине прекратились, а в 1656 г. было заключено двухгодовое перемирие.
В связи с непригодностью укреплений города, царь приказал в июле 1656 г. построить в Невеле новый острог. Начались интенсивные работы, но они проводились не качественно. После поражения в октябре 1661 г. войск воеводы Хованского под Кулишками их неразбитые части отошли в Невель. Царь приказал воеводе Плещееву «на Невле от прихода польских и литовских людей жить с великим бережениьем, а городовые и острожные крепости худые рухомые места, которым без поделки быть нельзя, поделать служилыми и жилецкими людьми». В город шли люди с « женишкаими и детишками», всей волостью привозились запасы хлеба, «конские кормы, сено, солома». Был наказ « по городу и по острогу, и по воротам, и по башням, и по стенам днём и ночью сторожи держать крепкие.»
По Андрусовскому перемирию 1667 г. Невель оказался в составе России.