В апреле 1962 года Рокоссовский был отправлен в почетную отставку — в группу генеральных инспекторов Министерства обороны. Распространились слухи, будто отставка была вызвана тем, что маршал отказался участвовать в кампании по разоблачению культа личности Сталина. Константин Константинович действительно ни разу не выступил с публичным осуждением Сталина. Однако, по мнению внука маршала Константина Вильевича, причина отставки заключалась в другом. Незадолго до этого маршал инспектировал Балтийский флот и выявил грубые нарушения в правилах приемки боевых кораблей у судостроителей. Оказалось, что моряки принимали на заводах недоделанные корабли, чтобы рабочие могли отчитаться о досрочной сдаче и получить премии. После подписания акта приемки корабли тотчас ставили в док и еще в течение нескольких месяцев устраняли недоделки. Такой порядок приемки кораблей существовал еще с довоенных времен с молчаливого согласия проверяющих инстанций. Благодаря подобному очковтирательству рабочие получали дополнительные материальные стимулы в виде премий. Однако Рокоссовский не без основания подозревал, что значительная часть премиальных денег делилась между флотскими начальниками, директорами заводов и крупными чиновниками из Министерства судостроения. Не исключено, что Рокоссовского уволили, чтобы не поднимать шума и не выносить сор из избы, поскольку знали, что Константин Константинович не согласится замять это дело.
Но вполне можно допустить, что никаких конкретных поводов к отставке Рокоссовского не было, а его просто уволили по возрасту, потому, что из руководства вооруженных сил ушло его поколение военачальников. Вспомним, что к 1962 году из 14 маршалов Советского Союза, командовавших фронтами в годы Великой Отечественной войны (Тимошенко, Ворошилов, Буденный, Мерецков, Жуков, Конев, Рокоссовский, Василевский, Малиновский, Толбухин, Говоров, Еременко, Баграмян, Голиков), на действительной военной службе осталось только трое — Малиновский, Мерецков и Баграмян. Кстати сказать, одновременно с Рокоссовским в группу генеральных инспекторов в апреле 1962 года был отправлен и маршал Конев, который никогда не подозревался в отказе критиковать Сталина. Вскоре в инспекторы перешел и маршал Филипп Иванович Голиков, очень близкий к Хрущеву военачальник. А Еременко, которого с Хрущевым связывала настоящая дружба, был отправлен в группу генеральных инспекторов еще в 1958 году. Думаю, что это был естественный процесс, связанный, в том числе, с техническим перевооружением армии и флота, которые стали ракетно-ядерными, и опыт прошедшей войны уже не подходил им.
Теперь Константин Константинович жил размеренной жизнью пенсионера, больше времени проводил с семьей и внуками, чаще бывал на природе и работал над мемуарами. По утверждению бывшего адъютанта маршала Б. Н. Захацкого, «Рокоссовский и в мемуарах, и в жизни любил краткость». Но закончить мемуары помешала тяжелая болезнь. Последние главы мемуаров жена и дочь смогли скомпоновать из черновиков и ранее написанных статей Константина Константиновича для «Военно-исторического журнала» и различных сборников, посвященных отдельным битвам. Книга мемуаров под названием «Солдатский долг» вышла в свет через несколько месяцев после кончины маршала.
Другие советские полководцы и при жизни и после его смерти очень высоко ценили военное искусство и человеческие качества Рокоссовского. Так, главный маршал авиации А. Е. Голованов писал в рецензии на биографию Рокоссовского в серии ЖЗЛ:
«Если бы меня спросили, рядом с какими полководцами прошлого я поставил бы Рокоссовского, я бы, не задумываясь, ответил: рядом с Суворовым и Кутузовым. Полководческое дарование Рокоссовского было поистине уникальным, и оно ожидает еще своего исследователя. Редкие качества характера К. К. Рокоссовского настолько запоминались каждому, кто хоть раз видел его или говорил с ним, что нередко занимают в воспоминаниях современников больше места, чем анализ полководческого искусства Константина Константиновича…
Пожалуй, Рокоссовский — это наиболее колоритная фигура из всех командующих фронтами, с которыми мне довелось сталкиваться во время Великой Отечественной войны.
Его блестящие операции по разгрому и ликвидации более чем трехсоттысячной армии Паулюса, окруженной под Сталинградом, его оборона, организованная на Курской дуге с последующим разгромом наступающих войск противника, боевые действия руководимых им войск в Белорусской операции снискали ему не только славу великого полководца в нашей стране, у нашего советского народа, но и создали ему мировую известность. Вряд ли можно назвать другую фамилию полководца, который бы так успешно действовал как в оборонительных, так и в наступательных операциях прошедшей войны.
Читать дальше