Но в этом же году Невель снова был завоёван войсками Московской державы. Белорусский историк Ткачёв так написал об этом: «В 1562 г. Невелем завладели войска Ивана Грозного, которые оставались здесь до 1580 г. За это время замок был укреплён, в насыпь вала ввели конструкцию из брусьев. Со стороны города выкопали ров, на вале поставили деревянные срубы».
В 1563 г. в Великие Луки во главе с Иваном Грозным пришли московские войска. Тут царь приказал «под наряд по рекам мосты делати к городу Невелю… а от Невеля и до Полоцка, понеже бо та дорога лесна и тесна.» По пути к Полоцку, Иван Грозный остановился на некоторое время в Невеле.
Летом 1564 г. московский воевода Ю. Токмаков с отрядом в 13 000 осадил Езерище. Так об этих событиях пишет в своём письме к метропалиту Макарию Иван Грозный: «Месяца июля в 22 день, царев и великого князя воевода князь Юрья Иванович Токмаков ходил к Озерищу с конными людьми, с пешими да и судовами людми, а людей имал в наседях и наряд с собой имал лёгкой. И стоял у города 4 дни и над городом промышлял…».
В 1565 г. возможна под Невелем была
В 1566 г. в Невеле бушевала чума. В 1579 г. вновь избранный литовский князь Стефан Баторий, остановившийся в Усвяте, послал полоцкого воеводу Николая Дорогостайского к Невелю, т. к. планировал возвращаться этой дорогой. Войска, не имевшие опыта осады, начали её с той стороны, где крепость была наиболее укреплена. После взятия Великих Лук Баторий в 1580 г. направил в помощь осаждающим сначала 500 тыс. человек, а позже ещё Ивана Борнемиссу с венгерскими полками, позже ещё и Замойского.
15 января 1582 г. было заключено перемирье, по которому Невель достался Московскому государству. При этом проводилась, как всегда при переходе любого города в состав другой страны, «списание стрельбы». С него видно, что тогда в замке находились 4 медных пушки по 3 метра длинной, привезённые из Полоцка. Ядра к ним были калибра с гусиное яйцо. Было также 4 московские пушки аналогичного калибра и др.