Впечатленный работой молодого чекиста с 1935 по 1936 год в управлении исправительно-трудовых лагерей при НКВД (ГУЛАГ), Берия в 1937 году назначил Абакумова начальником отделения в отделе безопасности НКВД[49]. После того, как в 1938 году Берия сменил Н. И. Ежова на посту наркома внутренних дел, он на следующий год назначил Абакумова начальником НКВД в Ростовской области[50] в звании капитана НКВД. Абакумов блестяще справился со своими новыми обязанностями. В награду за действенное завершение устроенных Берией чисток в Ростовской области Берия в 1940 году повысил его в звании до майора НКВД и в феврале 1941 года назначил заместителем наркома внутренних дел, возложив на него ответственность за набор и организацию народного ополчения и противопожарных войск.80

Через три месяца после начала войны, в сентябре 1941 года, когда А. Н. Михеев, начальник особых отделов (00) Красной Армии, погиб в бою под Киевом, Берия с одобрения Сталина назначил Абакумова начальником управления особых отделов, а также заместителем наркома обороны. Наконец, когда ГКО в апреле 1943 года преобразовал 00 в ОКР при Главном управлении контрразведки («СМЕРШ») НКО, Сталин назначил Абакумова начальником ГУКР «СМЕРШ», а его заместителем стал И. И. Москаленко.81

Абакумов блистательно проявил себя на обоих постах. Помимо выполнения своих основных контрразведывательных функций, новая организация и подчиненные ей ОКР во фронтах и армиях обеспечивали партийно-государственный контроль над военными и подавляли любое подозреваемое несогласие либо саботаж путем продолжения беспощадной и по существу перманентной чистки советского офицерского корпуса.

Печально знаменитая работа «СМЕРШ» включала розыск и наказание генералов и других офицеров Красной Армии, связанных с генералом А. А. Власовым, захват и казнь Власова и его сообщников, преследование других старших офицеров Красной Армии, которые сдались немцам в плен или продемонстрировали иные примеры «должностных преступлений» в бою, а также массовые репрессии против офицерского корпуса в целом – как правило, по сфабрикованным обвинениям. В число старших офицеров, попавших в годы войны в сеть Абакумова, входило по меньшей мере 35 генералов, обвиненных в измене, в основном безосновательно.82 Абакумов даже пытался преследовать Жукова, так как считал, что тот уподобился печально знаменитому Тухачевскому и стал угрозой для Сталина и советского государства. Однако Жукову удалось увернуться от когтей Абакумова – хотя его бывший начальник штаба, генерал В. С. Голушкович, пал жертвой этого великого инквизитора.

Свою наводящую страх работу Абакумов не прекратил и после войны. Например, в конце 1945 года и в 1946 году Абакумов и его сообщники арестовали, судили и приговорили множество бывших генералов Красной Армии, которых только-только освободили из немецких лагерей для военнопленных, а также группу состоявших на действительной службе генералов, которых Абакумов считал потенциальной угрозой для сталинского руководства.83 В число последних входил и главный маршал авиации А. А. Новиков, через которого Абакумов также надеялся добраться до Жукова. Между 1941 и 1952 годами жертвой репрессий Абакумова пал в целом 101 генерал.

В мае 1946 года Сталин назначил Абакумова, тогда генерал-полковника, главой недавно сформированного Министерства государственной безопасности (МГБ), которое объединило бывшие НКГБ и НКВД. На этом посту Абакумов сменил печально знаменитого В. С. Меркулова, одного из самых надежных подручных Берии. Он быстро укомплектовал штат нового министерства своими многочисленными креатурами из контрразведки «СМЕРШ», значительно увеличив мощь и масштабы этой структуры. Действия Абакумова вызвали озабоченность со стороны Берии, почуявшего, что новое министерство может стать угрозой его власти.84