Di tahun 99 H, ketika berusia 37 tahun, Umar bin Abdul Aziz diangkat sebagai Khalifah berdasarkan surat wasiat Khalifah Sulaiman bin Abdul Malik. Saat diumumkan sebagai pengganti Sulaiman bin Abdul Malik, Umar berkata, ”Demi Allah, sesungguhnya saya tidak pernah memohon perkara ini kepada Allah satu kali pun.” Karena itu, di hadapan rakyat sesaat setelah dibaiat ia berkata, ”Saudara-saudara sekalian, saat ini saya batalkan pembaiatan yang saudara-saudara berikan kepada saya, dan pilihlah sendiri Khalifah yang kalian inginkan selain saya.” Umar ingin mengembalikan cara pemilihan kekhilafahan seperti yang diajarkan Nabi, bukan diwariskan secara turun-temurun. Tapi, rakyat tetap pada keputusannya: membaiat Umar bin Abdul Aziz.
Setelah menjadi Khalifah, Umar bin Abdul Aziz melakukan gebrakan yang tidak biasa dilakukan arja-raja Dinasti Umayyah sebelumnya. Para petugas protokoler kekhalifahan terkejut luar biasa. Umar menolak kendaraan dinas. Ia memilih menggunakan binatang tunggangan miliknya sendiri. Al-Hakam bin Umar mengisahkan, ”Saya menyaksikan para pengawal datang dengan kendaraan khusus kekhalifahan kepada Umar bin Abdul Aziz sesaat dia diangkat menjadi Khalifah. Waktu itu Umar berkata, ’Bawa kendaraan itu ke pasar dan juallah, lalu hasil penjualan itu simpan di Baitul Maal. Saya cukup naik kendaran ini saja (hewan tunggangan).’”
’Atha al-Khurasani berkata, ”Umar bin Abdul Aziz memerintahkan pelayannya untuk memanaskan air untuknya. Lalu pelayannya memanaskan air di dapur umum. Kemudian Umar bin Abdul Aziz menyuruh pelayannya untuk membayar setiap satu batang kayu bakar dengan satu dirham.”
’Amir bin Muhajir menceritakan bahwa Umar bin Abdul Aziz akan menyalakan lampu milik umum jika pekerjaannya berhubungan dengan kepentingan kaum Muslimin. Ketika urusan kaum Muslimin selesai, maka dia akan memadamkannya dan segera menyalakan lampu miliknya sendiri.
Yunus bin Abi Syaib berkata, ”Sebelum menjadi Khalifah tali celananya masuk ke dalam perutnya yang besar. Namun, ketika dia menjadi Khalifah, dia sangat kurus. Bahkan jika saya menghitung jumlah tulang rusuknya tanpa menyentuhnya, pasti saya bisa menghitungnya.”
Abu Ja’far al-Manshur pernah bertanya kepada Abdul Aziz tentang kekayaan Umar bin Abdul Aziz, ”Berapa kekayaan ayahmu saat mulai menjabat sebagai Khalifah?” Abdul Aziz menjawab, ”Empat puluh ribu dinar.” Ja’far bertanya lagi, ”Lalu berapa kekayaan ayahmu saat meninggal dunia?” Jawab Abdul Aziz, ”Empat ratus dinar. Itu pun kalau belum berkurang.”
Bahkan suatu ketika Maslamah bin Abdul Malik menjenguk Umar bin Abdul Aziz yang sedang sakit. Maslamah melihat pakaian Umar sangat kotor. Ia berkata kepada istri Umar, ”Tidakkah engkau cuci bajunya?” Fathimah menjawab, ”Demi Allah, dia tidak memiliki pakaian lain selain yang ia pakai.”
Ketika shalat Jum’at di masjid salah seorang jamaah bertanya, ”Wahai Amirul Mukminin, sesungguhnya Allah telah mengaruniakan kepadamu kenikmatan. Mengapa tak mau kau pergunakan walau sekedar berpakaian bagus?” Umar bin Abdul Aziz berkata, ”Sesungguhnya berlaku sederhana yang paling baik adalah pada saat kita kaya dan sebaik-baik pengampunan adalah saat kita berada pada posisi kuat.”
Seorang pelayan Umar, Abu Umayyah al-Khashy berkata, ”Saya datang menemui istri Umar dan dia memberiku makan siang dengan kacang adas. Saya katakan kepadanya, ’Apakah setiap hari tuan makan dengan kacang adas?’” Fathimah menjawab, ”Wahai anakku, inilah makanan tuanmu, Amirul Mukminin.” ’Amr bin Muhajir berkata, ”Uang belanja Umar bin Abdul Aziz setiap harinya hanya dua dirham.”
Suatu saat Umar bin Abdul Aziz mengumpulkan Bani Marwan. Ia berkata, ”Sesungguhnya Rasulullah saw. memiliki tanah fadak, dan dari tanah itu dia memberikan nafkah kepada keluarga Bani Hasyim. Dan dari tanah itu pula Rasulullah saw. mengawinkan gadis-gadis di kalangan mereka. Suatu saat Fathimah memintanya untuk mengambil sebagian dari hasil tanah itu, tapi Rasulullah saw. menolaknya. Demikian pula yang dilakukan Abu Bakar r.a. dan Umar r.a. Kemudian harta itu diambil oleh Marwan dan kini menjadi milik Umar bin Abdul Aziz. Maka, saya memandang bahwa suatu perkara yang dilarang Rasulullah saw. melarangnya untuk Fathimah adalah bukan menjadi hakku. Saya menyatakan kesaksian di hadapan kalian semua, bahwa saya telah mengembalikan tanah tersebut sebagaimana pada zaman Rasulullah saw.” (riwayat Mughirah).
Wahib al-Wadud mengisahkan, suatu hari beberapa kerabat Umar bin Abdul Aziz dari Bani Marwan datang, tapi Umar tak bisa menemui mereka. Lalu mereka menampaikan pesan lewat Abdul Malik, ”Tolong katakan kepada ayahmu bahwa para Khalifah terdahulu selalu memberikan keistimewaan dan uang kepada kami, karena mereka tahu kedudukan kami. Sementara ayahmu kini telah menghapuskannya.”
Abdul Malik menemui ayahnya. Setelah kembali, Abdul Malik menyampaikan jawaban Umar bin Abdul Aziz kepada mereka, ”Sesungguhnya aku takut akan azab hari yang besar, jika aku mendurhakai Tuhanku.” Umar mengutip ayat 15 surat Al-An’am.
Umar bin Abdul Aziz pun pernah memanggil istrinya, Fathimah binti Abdul Malik, yang memiliki banyak perhiasan pemberian ayahnya, Khalifah Abdul Malik. ”Wahai istriku, pilihlah olehmu, kamu kembalikan perhiasan-perhiasan ini ke Baitul Maal atau kamu izinkan saya meninggalkan kamu untuk selamanya. Aku tidak suka bila aku, kamu, dan perhiasan ini berada dalam satu rumah.” Fathimah menjawab, ”Saya memilih kamu daripada perhiasan-perhiasan ini.”
’Amr bin Muhajir meriwayatkan, suatu hari Umar bin Abdul Aziz ingin makan apel, kemudian salah seorang anggota keluarganya memberi apel yang diinginkan. Lalu Umar berkata, ”Alangkah harum aromanya. Wahai pelayan, kembalikan apel ini kepada si pemberi dan sampaikan salam saya kepadanya bahwa hadiah yang dikirim telah sampai.”
’Amr bin Muhajir mempertanyakan sikap Umar itu, ”Wahai Amirul Mukminin, orang yang memberi hadiah apel itu tak lain adalah sepupumu sendiri dan salah seorang yang masih memiliki hubungan kerabat yang sangat dekat denganmu. Bukankah Rasulullah saw. juga menerima hadiah yang diberikan orang lain kepadanya?” Umar bin Abdul Aziz menjawab, ”Celaka kamu, sesungguhnya hadiah yang diberikan kepada Rasulullah saw. adalah benar-benar hadiah, sedangkan yang diberikan kepadaku ini adalah suap.”
Suatu ketika Abdul Malik, putra Umar, menemui ayahnya, dan berkata, ”Wahai Amirul Mukminin, jawaban apa yang engkau persiapkan di hadapan Allah swt. di hari Kiamat nanti, seandainya Allah menanyakan kepadamu, ’Mengapa engkau melihat bid’ah, tapi engkau tidak membasminya, dan engkau melihat Sunnah, tapi engkau tidak menghidupkannya di tengah-tengah masyarakat?’”
Umar menjawab, ”Semoga Allah swt. mencurahkan rahmat-Nya kepadamu dan semoga Allah memberimu ganjaran atas kebaikanmu. Wahai anakku, sesungguhnya kaummu melakukan perbuatan dalam agama ini sedikit demi sedikit. Jika aku melakukan pembasmian terhadap apa yang mereka lakukan, maka aku tidak merasa aman bahwa tindakanku itu akan menimbulkan bencana dan pertumpahan darah, serta mereka akan menghujatku. Demi Allah, hilangnya dunia bagiku jauh lebih ringan daripada munculnya pertumpahan darah yang disebabkan oleh tindakanku. Ataukah kamu tidak rela jika datang suatu masa, dimana ayahmu mampu membasmi bid’ah dan menghidupkan Sunnah?”
Pemerintahan Umar bin Abdul Aziz sangat memprioitaskan kesejahtera rakyat dan tegaknya keadilan. Fathimah binti Abdul Malik pernah menemukan suaminya sedang menangis di tempat biaya Umar melaksanakan shalat sunnah. Fathimah berusaha membesarkan hatinya. Umar bin Abdul Aziz berkata, ”Wahai Fathimah, sesungguhnya saya memikul beban umat Muhammad dari yang hitam hingga yang merah. Dan saya memikirkan persoalan orang-orang fakir dan kelaparan, orang-orang sakit dan tersia-siakan, orang-orang yang tak sanggup berpakaian dan orang yang tersisihkan, yang teraniaya dan terintimidasi, yang terasing dan tertawan dalam perbudakan, yang tua dan yang jompo, yang memiliki banyak kerabat, tapi hartanya sedikit, dan orang-orang yang serupa dengan itu di seluruh pelosok negeri. Saya tahu dan sadar bahwa Tuhanku kelak akan menanyakan hal ini di hari Kiamat. Saya khawatir saat itu saya tidak memiliki alasan yang kuat di hadapan Tuhanku. Itulah yang membuatku menangis.”
Malik bin Dinar berkata, ”Ketika Umar bin Abdul Aziz menjadi Khalifah, para penggembala domba dan kambing berkata, ”Siapa orang saleh yang kini menjadi Khalifah umat ini? Keadilannya telah mencegah serigala memakan domba-domba kami.”
Begitulah Umar bin Abdul Aziz, meski memerintah tidak sampai dua tahun, rakyatnya hidup sejahtera. Umar bin Usaid berkata, ”Demi Allah, Umar bin Abdul Aziz tidak meninggal dunia hingga seorang laki-laki datang kepada kami dengan sejumlah harta dalam jumlah besar dan berkata, ’Salurkan harta ini sesuai kehendakmu.’ Ternyata tak ada seorang pun yang berhak menerimanya. Sungguh Umar bin Abdul Aziz telah membuat manusia hidup berkecukupan.” (Muhammad Bugi)