Setelah tidak lagi bergabung dengan tentara Muslimin, Amr bin Ash dipercaya Khalifah Umar bin Khattab menjadi gubernur Mesir. Menjadi pemimpin umat Islam di sana, serta berdakwah mengajak kepada siapa saja untuk beriman kepada Allah SWT.
Amr bin Ash menempati istana megah, lengkap dengan berbagai kenikmatan dan jaminan keamanan pada setiap waktu. Namun kemegahan istananya itu bertolak belakang dengan gubuk kecil dan reyot yang berada tidak jauh dari depan istananya.
Dalam buku kisah keadilan para pemimpin Islam tulisan Nasiruddin dikatakan, Suatu ketika Amr berpikir untuk menggusur gubuk tersebut menggantinya dengan membangun sebuah masjid agung. Hal itu dimaksudkan supaya terjadi keseimbangan antara istana sebagai refleksi dari kehidupan dunia dan masjid sebagai upaya meraih kebahagiaan akhirat.
Kemudian Amr mengumpulkan seluruh pejabatnya untuk membahas kemungkinan pembangunan masjid impiannya. Dalam rapat tersebut, Amr mendapat informasi jika gubuk reyot di depan istananya adalah milik keluarga Yahudi miskin. Informasi tersebut justru semakin menguatkan keinginan Amr untuk segera meletakkan batu pertama pembangunan masjid.
Esok harinya, Amr memanggil orang Yahudi yang mendiami gubuk ke istana. Sesampainya di Istana, Amr kemudian mengutarakan maksudnya ingin membangun masjid di atas tanah tempat gubuk milik orang Yahudi tersebut. Sebagai imbalannya, Amr bersedia membeli tanah dengan harga yang telah disepakati.
Mendengar rencana itu, orang Yahudi tidak menyanggupi permintaan sang gubernur. Dengan lantang dia menolak untuk menyerahkan tanahnya walau dibayar berpuluh kali lipat. Sambil berjalan meninggalkan istana, orang Yahudi tetap pada pendiriannya tidak menyerahkan harta satu-satunya yang dimiliki.
Sebagai gubernur, Amr tidak mengindahkan keputusan orang Yahudi yang tetap pada pendiriannya. Segera Amr menetapkan surat keputusan untuk membongkar paksa gubuk keluarga Yahudi miskin tersebut. Amr beralasan pembongkaran dilakukan untuk mewujudkan sebuah kemaslahatan yang lebih besar kepada kaum Muslimin Mesir.
Orang Yahudi yang sedang tidur santai di gubuknya kaget begitu melihat dari kejauhan, sejumlah tentara kerajaan berjalan menuju ke arahnya. “Atas perintah gubernur, kami ingin membongkar paksa gubuk kamu untuk dijadikan masjid,” kata salah satu prajurit dengan nada tinggi.
Keluarga Yahudi menangis tanpa henti, tanpa daya dia menyaksikan tempat tinggal satu-satunya yang mereka miliki harus dibongkar. Orang Yahudi membayangkan saat-saat bahagia melihat senyum anggota keluarganya akan berakhir hanya dalam hitungan menit.
Di tengah perasaan sedihnya tersebut, tiba-tiba orang Yahudi teringat akan pemimpin tertinggi umat Islam, Khalifah Umar bin Khattab yang berada di Madinah. Tanpa pikir panjang, segera dia berjalan menuju Madinah untuk meminta keadilan atas keputusan Gubernur Amr.
Namun dalam perjalanan, orang Yahudi berkecil hati ketika membayangkan sosok Umar bin Khattab. Dia pesimis, dirinya yang lusuh dengan pakaian compang-camping akan disambut setibanya di Madinah, terlebih keluhannya didengarkan oleh seorang tokoh besar Muslimin. Dengan perasaan gundah, orang Yahudi tetap berjalan ke Madinah menjajal keberuntungan nasibnya.
Sesampainya di Madinah, semua yang dia takutkan tidak terjadi. Dengan ramah, Khalifah Umar menyambut orang Yahudi layaknya tamu kenegaraan. Suguhan aneka makanan dan minuman mejadi bentuk betapa hormatnya khalifah kepada tamu, meski dirinya menyadari bukan seorang muslim.
Sambil menyantap hidangan, orang Yahudi menceritakan permasalahannya kepada Khalifah Umar. Di akhir pembicaraan, Umar meminta orang Yahudi untuk mengambil sepotong tulang busuk yang berada di tempat sampah tidak jauh dari tempat dia duduk. Dengan keraguan, orang Yahudi menuruti permintaan Umar.
Di tulang busuk itu, Umar kemudian mencabut pedang dari selongsongnya dan menggoreskan garis lurus pada tulang busuk. “Bawalah tulang busuk ini baik-baik ke Mesir dan berikan kepada gubernurmu, Amr bin Ash,” kata Umar sambil menyodorkan tulang busuk tersebut kepada orang Yahudi. Dengan perasaan bingung, orang Yahudi hanya menuruti permintaan Umar kemudian kembali ke Mesir.
Setibanya di Mesir, segera dia menyerahkan tulang busuk itu ke Gubernur Amr. Tidak disangka, setelah memegang tulang busuk tersebut dan melihat goresan lurus, tubuh Amr menggigil dan wajahnya berubah menjadi pucat ketakutan. Segera Amr bin Ash memerintahkan anak buahnya untuk menghentikan dan merobohkan masjid yang masih dalam tahap pembangunan.
Begitu herannya orang Yahudi, sebelum masjid dirobohkan, segera dia bertanya kepada Amr untuk menjelaskan maksud dari tulang busuk tersebut.
“Tulang itu berisi ancaman khalifah, yakni Amr bin Ash ingatlah kamu, siapapun kamu dan setinggi apapun jabatanmu, suatu saat nanti kamu menjadi tulang yang busuk. Karena itu bertindak adillah kamu seperti huruf alif yang tegak lurus, adil di atas dan adil di bawah. Sebab jika tidak, ku tebas batang lehermu,” kata Amr bin Ash.
Segera orang Yahudi tersebut tertunduk haru, ia kagum akan sikap kepemimpinan Khalifah Umar dan keadilannya yang tidak pandang bulu. Dengan perasaan ikhlas, orang Yahudi tersebut menginfakkan tanahnya untuk dibangun masjid. Tidak lama kemudian, dia beriman dengan menyatakan diri memeluk Islam.