В 1914-1919 годах учился в местной школе.

В июне 1919 года (в неполных 12 лет!) влился в ряды Красной Армии, участвовал в боях. Попал в плен, бежал, беспризорничал в Одессе, подрабатывал в порту и снова влился в ряды Рабоче-крестьянской Красной Армии.

В 1921 году поступил на канцелярскую службу в Особый отдел (это такое подразделение военной контрразведки), затем перебрался в ГПУ (Государственное политическое управление при НКВД РСФСР).

В 1922 году поступил в погранвойска.

В 1923 году приступил к комсомольской работе.

В 1925 году был направлен на работу в ГПУ.

В 1927 году стал оперативным работником ГПУ.

В 1928-1930 годах учился на рабфаке ГПУ.

В 1932 году переехал в Москву, где стал сотрудником центрального аппарата ОГПУ (Объединённое государственное политическое управление).

В 1933 году начал работать в Иностранном отделе (орган внешней разведки). Был разведчиком в нескольких европейских странах, специализировался на украинских националистах.

В мае 1938 года ликвидировал лидера украинских националистов Коновальца, передав ему в Роттердаме замаскированную под коробку конфет мину.

С 6 ноября по 2 декабря 1938 года исполнял обязанности начальника внешней разведки.

В 1939 году был назначен заместителем начальника отдела ГУГБ НКВД СССР.

В августе 1940 года с Наумом Исааковичем Эйтингоном руководил операцией по убийству Троцкого.

В феврале 1941 года был назначен заместителем начальника 1-го (Разведывательного) управления НКВД СССР.

Во время Великой Отечественной войны руководил организацией диверсий в тылу противника.

В 1942 году возглавил 4-е управление НКВД СССР. Во время наступления немцев на Москву руководил минированием наиболее важных объектов.

В 1944 году стал начальником отдела «С», занимавшегося агентурным добыванием и обобщением материалов по атомной бомбе.

После войны возглавлял отдел «Ф».

В 1947 году занимался ликвидацией Католического епископа Восточного обряда Теодора Ромжи, активно протестовавшего против присоединения католиков к православию.

В 1950 году стал начальником Бюро № 1 МГБ СССР по диверсионной работе за границей.

21 августа 1953 года арестован как пособник Берии по обвинению в заговоре. Симулировал помешательство и до 1958 года находился в Ленинградской специальной психиатрической больнице.

В 1958 году был приговорён к 15 годам заключения за активное пособничество изменнику Родины Берия в подготовке государственного переворота, производство опытов над людьми, похищения и многочисленные убийства. Виновным себя не признал. Отбывал наказание во Владимирской тюрьме («Владимирский централ, ветер северный...»), где перенес три инфаркта, ослеп на один глаз, получил инвалидность 2-й группы.

В 1968 году освободился и подался в литературную деятельность. написал три книги под псевдонимом Анатолий Андреев.

В январе 1992 году добился реабилитации.

Умер 24 сентября 1996 года в Москве.