18 июля 1953 года Андропова направляют в Венгрию, где он становится Советником посольства СССР в Венгерской Народной Республике. А с 6 июля 1954 года по 21 февраля 1957 года Юрий Владимирович является Чрезвычайным и Полномочным Послом СССР в Венгрии. Играл активную роль в подавлении антикоммунистического восстания в Венгрии. Ему также удалось убедить Яноша Кадара возглавить венгерское правительство, сформированное Москвой. По другим данным (воспоминания В. А. Крючкова, находившегося в то время на дипломатической работе в посольстве СССР в Венгрии) Андропов в ответ на просьбу венгерского руководства отказался ставить перед Москвой вопрос о вводе советских войск в Будапешт.
В 1956 г. пережил известные будапештские события, вызванные антисталинским докладом Н. С. Хрущева на ХХ съезде КПСС. Во время антисоветских волнений в Будапеште настоял на вводе в город советских танков. Тридцать боевых машин охраняли здание советского посольства. Чувство страха, испытанное во время венгерского мятежа, запомнилось ему надолго.
Весной 1957 г. вернулся в Москву в ореоле спасителя социализма. Ему предложили возглавить вновь созданный Отдел ЦК КПСС по связям с коммунистическими и рабочими партиями социалистических стран. В этой должности проработал десять лет, будучи одновременно с 1962 г. секретарем ЦК КПСС. Держался вполне демократично, на подчиненных не кричал, создал в отделе атмосферу духовной свободы. Не курил. Испытывал к табачному дыму острую идиосинкразию. Пил виски. Писал стихи, иногда вставлял в них ненормативные словечки. Любил джаз, приятным баритоном пел арии из опер, знал множество народных и казачьих песен. Играл на многих музыкальных инструментах. Разбирался в живописи, обожал романы Жаклин Сюзанн. Был горячим болельщиком хоккейной команды «Динамо». Лицо холеное, породистое, с легким оттенком брезгливости, губы по-женски полноватые. Носил очки с золотыми дужками.
С А. Н. Косыгиным была личная несовместимость, основанная на опасении, что предлагаемые премьером реформы могут размыть социально-политический строй. Некоторое время находился в опале, от переживаний перенес инфаркт, несколько месяцев пролежал в больнице, но к началу 1967 г. выздоровел.
19.05.1967 г. назначен председателем КГБ СССР вместо отправленного в Киев В. Е. Семичастного. Заместителями к Андропову Л. И. Брежнев приставил двух днепропетровцев генералов С. М. Цвигуна и Г. К. Цинева. Возглавив КГБ, полностью покончил там с остатками влияния А. Н. Шелепина.
С 18 мая 1967 по 26 мая 1982 года Андропов занимал должность председателя Комитета государственной безопасности СССР. Через месяц после назначения, 21 июня 1967 года Андропов был избран кандидатом в члены Политбюро, а шесть лет спустя, 27 апреля 1973 года, стал членом Политбюро. За 15 лет его руководства органы госбезопасности СССР существенно укрепили и расширили свой контроль над всеми сферами жизни государства и общества. Одним из направлений деятельности КГБ была борьба с диссидентским движением и националистическими движениями. При Андропове проводились судебные процессы над правозащитниками, использовались различные способы подавления инакомыслия, практиковались различные формы внесудебного преследования (например, принудительное лечение в психиатрических больницах). Андропов получал специальные указания не отвечать на ходатайства об освобождении диссидентов. Усиление роли КГБ при Андропове были созданы райотделы КГБ со штатом сотрудников, «курировавших» практически все предприятия и организации. Личный состав получил высокие оклады и привилегии, которых не имели сотрудники МВД, военные. Прямую коррупцию и взяточничество среди подчинённых Андропов жёстко пресекал, но, благодаря контролю над всеми сферами жизни и взаимной поддержке, офицеры КГБ, даже невысокого ранга, получили возможность решать любые личные вопросы. Кадровой политикой ведали партийные органы, но сложился порядок, при котором ни одно сколько-нибудь важное назначение не могло состояться без заключения КГБ о кандидате.
На этом посту проявлял большую осторожность, никогда не давал повода для подозрений в превышении своих полномочий, по любому поводу писал бумагу в ЦК КПСС, чтобы заручиться его поддержкой. Имел репутацию кабинетного руководителя с аналитическим уклоном, редко выезжал на места.
Во время конфликта на пограничном острове Даманский (март 1969 г.) не поддержал сторонников нанесения мощного удара по китайской стороне.
Читать дальше