После смерти Сталина влияние Кагановича на короткое время вновь возросло. Как один из первых заместителей Председателя Совета Министров СССР он контролировал несколько важных министерств. Каганович поддержал предложение Хрущева и Маленкова арестовать и устранить Берию. Еще раньше он активно поддержал все меры по пересмотру «дела врачей» и прекращению антисемитской кампании в стране. Был реабилитирован и его старший брат М. М. Каганович. И тем не менее начавшиеся в 1953–1954 годах первые реабилитации ставили Кагановича во все более трудное положение. Не все жертвы террора 1937–1938 годов были расстреляны или погибли в лагерях. В Москву стали возвращаться люди, которые знали о той ведущей роли, которую играл Каганович при проведении незаконных массовых репрессий. Так, например, в 1954 году был полностью реабилитирован А. В. Снегов, которого Каганович хорошо знал еще по партийной работе на Украине в середине 20‑х годов. Снегов был назначен, по предложению Хрущева, на работу в политотдел и коллегию МВД СССР. В перерыве торжественного заседания в Большом театре по случаю 39‑й годовщины Октябрьской революции Каганович увидел Снегова, идущего под руку с Г. И. Петровским, когда‑то возглавлявшим ЦИК Украины, а ныне работавшим завхозом Музея Революции. Каганович поспешил к ним с приветствиями. Но Снегов не ответил на них. «Я не буду пожимать руку, запятнанную кровью лучших людей партии», – громко, чтобы слышали все вокруг, сказал Снегов. Каганович помрачнел и вместе с дочерью быстро отошел в сторону. Но он уже не имел прежних возможностей карать и преследовать своих врагов. Каганович решительно протестовал против намерения Хрущева доложить делегатам XX съезда КПСС о преступлениях Сталина. Когда было предложено дать слово на съезде нескольким вернувшимся из лагерей старым большевикам, Каганович воскликнул: «И эти бывшие каторжники будут нас судить?» В своей речи на съезде партии Каганович должен был все‑таки мимоходом сказать несколько слов о вредности культа личности. Хрущев, однако, преодолел сопротивление и прочел в конце съезда свой знаменитый доклад. В прошлом Каганович был в очень плохих отношениях с Молотовым и Маленковым. Теперь они стали сближаться на почве общей вражды к Хрущеву и его политике. Они тщательно фиксировали все ошибки Хрущева в руководстве промышленностью и сельским хозяйством. Но главное, что им не нравилось, – это проведение «десталинизации» и освобождение и реабилитация миллионов политических заключенных. Выступление антихрущевской группы закончилось полным поражением. Молотов, Каганович, Маленков и «примкнувший к ним Шепилов» были выведены из состава Политбюро и ЦК КПСС. Они сами и их выступление обсуждались и осуждались на всех партийных собраниях. Это была советская «банда четырех». После июньского Пленума 1957 года Кагановича охватил страх. Он опасался ареста и боялся, что его постигнет судьба Берии. В конце концов, на его совести было не намного меньше преступлений, чем на совести Лаврентия. Каганович даже позвонил Хрущеву и униженно просил его не поступать с ним слишком жестоко. Он ссылался на прежнюю дружбу с Хрущевым. Ведь именно Каганович способствовал быстрому выдвижению Хрущева в Московской партийной организации. Хрущев ответил, что никаких репрессий не будет, если члены антипартийной группы прекратят борьбу против линии партии и станут добросовестно работать на тех постах, которые им поручит теперь партия. И действительно, Кагановича вскоре направили в Свердловскую область управляющим трестом Союзасбест. Когда в 1933 году в нашей стране проходила чистка партии, перед комиссией должны были отчитаться и все ответственные партийные работники. Хрущев проходил чистку в партийной организации завода имени Осоавиахима. Его спросили, в частности, как он в своей работе применяет социалистическое соревнование. Хрущев ответил: «С кем же мне соревноваться? Только с Лазарем Моисеевичем, но разве я могу с ним тягаться…» В 30‑е годы Хрущев, конечно, не мог «тягаться» с Кагановичем, но в 40‑е нередко вступал в споры и конфликты с ним. А во второй половине 50‑х годов именно Хрущев нанес политическое поражение группе членов Политбюро, в которую входил и Каганович.