Халиф Умар был умным и дальновидным человеком. Расширение границ Халифата привело к тому, что Ислам начал распространяться среди других народов, и это могло привести к проникновению в исламскую религию инородных воззрений и традиций. Результатом этого могла быть духовная деградация мусульман. Кроме того, в среде мусульман уже находилось много зороастрийцев, плененных в результате войн с Персией, и с их стороны могли быть предприняты определенные действия по дестабилизации положения в Халифате. Эти проблемы очень беспокоили халифа Умара, и поэтому он не позволял персам поселяться в столице Халифата — Медине. Многие из них после падения Персидской империи лишь притворялись мусульманами, а на самом деле оставались зороастрийцами. Они питали симпатии к уничтоженному Сасанидскому Ирану и зороастризму, который был государственной религией в бывшей империи. В связи с этим они вынашивали коварные планы против мусульманского государства в целом и против ненавистного им халифа Умара в частности.
Во время войны с Персией наместник Куфы аль-Мугира ибн Шуба попросил халифа Умара позволить поселиться в Медине его слуге — персу Абу Лулу Фирузу, который обратился в Ислам. Однако, как выяснилось позднее, в душе тот остался зороастрийцем и продолжал питать вражду к Исламу. Абу Лулу был очень способным человеком и владел многими ремеслами. Аль-Мугира хотел, чтобы его способности послужили на пользу мусульманам, однако Абу Лулу замыслил заговор против халифа Умара и длительное время отслеживал все его передвижения. Осуществление заговора облегчалось тем, что Умар, как и все праведные халифы, вел очень скромный образ жизни и не держал при себе охрану. Он отличался храбростью и бесстрашием, и это мешало заговорщику осуществить свой замысел. Поэтому он решил напасть на халифа Умара, когда тот совершал молитву.
В месяце Зульхиджа 23 года хиджры Абу Лулу осуществил свой коварный план. Умар возглавил коллективную рассветную молитву, и Абу Лулу неожиданно напал на халифа сзади и нанес ему шесть тяжелых ножевых ранений. Когда молящиеся, находящиеся в первых рядах, окружили его, он бросился на них и серьезно ранил 13 человек, половина из которых позднее скончалась от ранений. Подоспевший к месту трагедии Абдуррахман ибн Ауф накинул на Абу Лулу свою головную повязку и затянуть ее. Видя безысходность своего положения, Абу Лулу покончил жизнь самоубийством.
Умару и другим пострадавшим была оказана первая помощь. Смертельно раненый Умар взял Абдуррахмана ибн Ауфа за руку и строго наказал ему продолжить молитву. Абдуррахман исполнил приказ халифа, и молитва была совершена.
После полученного ранения халиф Умар прожил всего три дня. Первым делом он позвал к себе своего сына Абдуллу и велел ему расплатиться с его долгами. Затем он послал Абдуллу к жене Пророка Мухаммада Аише с просьбой разрешить похоронить его рядом с Пророком и Абу Бакром, и она позволила ему сделать это.
Умар не оставил завещания относительно своего преемника. Вместо этого он распорядился созвать совет из шести выдающихся сподвижников в составе Усмана ибн Аффана, Али ибн Абу Талиба, Тальхи ибн Убайдуллы, аз-Зубайра ибн аль-Аввама, Абдуррахмана ибн Ауфа и Саада ибн Абу Ваккаса. Им было приказано в течение трех дней прийти к согласию и выбрать одного из них новым халифом. На протяжении этих трех дней возглавлять коллективную молитву должен был соратник Умара Сухайб.
На четвертый день после покушения, в конце месяца Зульхиджа 23 года, халиф Умар скончался. После его смерти появились первые сведения о том, что это покушение было не случайным, а стало результатом заговора, в котором, возможно, участвовали и другие люди и даже вожди некоторых племен. Подозрения пали на Хурмузана и христианина из Хиры Джуфайну, который был в хороших отношениях с Саадом ибн Абу Ваккасом и обучал его детей. Незадолго до покушения Абдуррахман ибн Абу Бакр встретил их в обществе Абу Лулы. Они выглядели подозрительно, и у одного из них выпал кинжал, которым впоследствии был убит Умар. Как только Абдуррахман опознал оружие убийства, один из сыновей Умара Убайдулла выхватил меч и в ярости направился к Хурмузану и Джуфайне и убил их обоих. Не довольствовшись этим, он убил даже малолетнюю дочь Абу Лулы. Более того, он грозился убить всех инородцев в Медине, однако его остановили, и он был арестован.