После разгрома Деникина — Орлов стал руководителем одной из контрразведок армии генерала Врангеля. На этом посту он добился существенной реорганизации белогвардейских спецслужб, последовательно вёл контрразведывательную работу против ВЧК и Коминтерна, перенеся её главным образом за пределы территории бывшей Российской империи.
В мае 1920, Орлов с документами на имя "ксендза Орбанского" совершил секретный вояж по Европе (Варшава, Рига, Таллин, Каунас, Париж, Лондон), где попытался создать разведывательные группы. Статус Орлова как врага советской власти подчёркивает факт создания в ЧК отдельного агентурного дела "на Орлова и разведку Врангеля".
После поражения Врангеля — Орлов с 1920 года на долгое время поселился в Германии, продолжив борьбу с большевизмом. В частности, в Берлине он выступил с идеей создания "Белого интернационала" (организации, в задачи которой входила "регистрация и тщательный надзор за выезжающими из Совдепии агентами"), был принят на работу разведслужбой Веймарской республики в качестве эксперта. За это время сыграл большую роль в разоблачении так называемой "германской ЧК", состоявшей из агентов Коминтерна.
В 1929 году Орлов, в результате проведённой Иностранным отделом ОГПУ операции "Фальсификатор") был подвергнут в Германии суду за попытку продать компромат на американских сенаторов Уильяма Бору и Джорджа Норриса (William Borah и George Norris), выступавших за признание СССР со стороны США и установление между ними дипломатических отношений.
После прихода к власти в Германии нацистов, Орлов эмигрировал в Бельгию, где в 1939 году был задержан и отправлен в концлагерь, где и погиб в 1941 году.
По другой версии, многочисленные запросы советской стороны в Германию о выдаче Орлова не были удовлетворены, но в 1930 году он, опасаясь выдачи Советскому Союзу, уехал с рекомендацией от В. Л. Бурцева в Бельгию, где открыто жил до конца 30-х годов (то есть Орлов не бежал от нацистов, хотя и испытывал сильную неприязнь к нацистской идеологии и даже в 1932 году был обвинён национал — социалистами в деятельности, направленной против НСДАП). По этой версии, Орлов был арестован германской службой безопасности (СД), в начале немецкой оккупации Бельгии, то есть после мая 1940 года (массовые аресты русских в Бельгии произошли осенью 1940 года), и, по некоторым данным в ходе допросов подвергался пыткам.
Несмотря на противоречивые сообщения о его отправке в немецкий концлагерь или получении "хорошей работы" в Абвере, нет сомнений в том, что он был убит выстрелом в затылок, а его тело было обнаружено в Берлине (Тиргартен) в январе 1941 года.
О другом "ценном кадре" Дзержинского или вражеском агенте среди высоко поставленных сотрудников ВЧК, поведал в своих мемуарах уже упоминавшийся ветеран-чекист Ф. Т. Фомин: "Летом 1919 года реввоенсовет армии предоставил мне возможность поехать на некоторое время в Киев для лечения. Положение под Киевом было очень тяжелое. Деникинские части наступали с Дарницы, а петлюровцы — со стороны Коростеня. Киев уже подвергался усиленному орудийному обстрелу с двух сторон.
Я решил повидаться с председателем Всеукраинской чрезвычайной комиссии Мартином Яновичем Лацисом. М. Я. Лацис попросил меня временно задержаться в Киеве: — Сами видите, как нам сейчас приходится. У нас крайняя необходимость в работниках. — Прошу вас, товарищ Лацис, используйте меня, как найдете нужным. — Ну, вот и отлично. Я направлю вас заместителем начальника Особого отдела ВЧК 12-й армии. Вы, товарищ Фомин, займитесь там арестованными. Мне сообщили, что начальник этого отдела Грюнвальд хватал всех подряд, кого нужно и не нужно. Разберитесь, пожалуйста.
С первого же дня ко мне стали приходить коммунисты-чекисты и рассказывать о том, что начальник отдела Грюнвальд со своими приближенными пьянствует, безобразничает, запугивает население. Признаться, я этому не сразу поверил. Вместе с секретарем партячейки Светловым мы занялись проверкой этих сведений, и, к сожалению, все подтвердилось.
Однажды в разговоре с начальником отряда особого отдела, не помню в связи с чем, речь зашла о гетмане Скоропадском. И тут он мне сделал неожиданное сообщение: — Товарищ начальник! У нас под арестом содержится жена гетмана Скоропадского.
А мне доподлинно было известно, что жена Скоропадского вместе с ним уехала из Киева еще в декабре 1918 года. Это, подумал я, какое-то недоразумение.
Вызвав старшего следователя Николаева, я спросил его: — Кого из женщин, содержащихся у нас под следствием, называют женой гетмана Скоропадского? — Это, как видно, арестованную Чхеидзе, — отвечает Николаев. — А кто такая Чхеидзе? Николаев несколько замялся: — Вы разве не слышали? — Нет, ничего не знаю, потому у вас и спрашиваю. — Чхеидзе была любовницей Грюнвальда. — Почему же ее называют женой гетмана Скоропадского? — Как видно, лишь потому, что она красивая женщина.
Читать дальше