Ketika dia mendengar kabar tentang kerasulan Nabi, dia mengutus saudara laki-lakinya menyelidiki lebih lanjut mengenai Nabi. Setelah puas menyelidiki, saudaranya pun melaporkan kepada Abu Dzar bahwa Nabi Muhammad itu seorang yang sopan, santun, dan baik budi pekertinya. Ayat-ayat yang ia bacakan kepada manusia bukanlah puisi dan bukan pula kata-kata ahli syair.
Laporan itu masih belum memuaskan hati Abu Dzar. Akhirnya ia pun berangkat sendiri ke Makkah untuk mencari tahu tentang Muhammad. Pada suatu hari menjelang malam di Kota Makkah, ia dilihat oleh Ali. Oleh karena ia seorang musafir, Ali terpaksa membawanya ke rumahnya dan melayaninya dengan baik sebagai tamu. Ali tidak bertanya apapun dan Abu Dzar tidak pula memberitahu Ali tentang maksud kedatangannya ke Makkah. Pada keesokkan harinya, Abu Dzar pergi ke Baitul Haram untuk mengetahui siapa Muhammad. Abu Dzar gagal menemui Nabi karena pada waktu itu orang-orang Islam sedang diganggu hebat oleh orang-orang kafir musyrikin. Pada malam yang kedua, Ali kembali membawa Abu Dzar ke rumahnya.
Pada malam itu Ali bertanya: “Saudara, apakah sebabnya saudara datang ke kota ini?” Sebelum menjawab Abu Dzar meminta Ali berjanji untuk berkata benar. Kemudian dia pun bertanya kepada Ali tentang Nabi. Ali berkata: “Sesungguhnya dialah pesuruh Allah. Besok engkau ikutlah aku dan aku akan membawamu menemuinya. Tetapi awas, bencana yang buruk akan menimpa kamu kalau hubungan kita diketahui orang. Ketika berjalan besok, kalau aku mendapati bahaya mengancam kita, aku akan berpisah agak jauh darimu dan berpura-pura membetulkan sepatuku. Tetapi engkau teruslah berjalan supaya orang tidak curiga hubungan kita.”
Pada keesokkan harinya, Ali pun membawa Abu Dzar bertemu dengan Nabi. Tanpa banyak tanya jawab, Abu Dzar pun memeluk agama Islam. Karena takut dia diapa-apakan oleh musuh, Nabi menasehatinya supaya cepat-cepat balik dan jangan mengabarkan keislamannya kepada khalayak ramai. Tetapi Abu Dzar menjawab dengan berani: “Ya Rasullulah, aku bersumpah dengan nama Allah yang jiwaku berada di tanganNya, bahwa aku akan mengucap dua kalimah syahadah di hadapan orang-orang kafir musyrikin itu.”
Janjinya kepada Rasulullah ditepatinya. Selepas meninggalkan Rasulullah, dia mengarahkan langkah kakinya ke Baitul Haram. Di hadapan kaum musyrikin dan dengan suara lantang dia mengucapkan dua kalimah syahadah. “Aku bersaksi bahwa tiada Tuhan melainkan Allah dan aku bersaksi bahwa Muhammad adalah pesuruh Allah.” Tatkala mendengar ucapan Abu Dzar itu, orang-orang kafir pun menyerbunya lalu memukulnya. Kalau tidak karena Abbas, paman Nabi yang ketika itu belum Islam, tentulah Abu Dzar menemui ajalnya di situ.
Kata Abbas kepada orang-orang kafir musyrikin yang menyerang Abu Dzar: “Tahukah kamu siapa orang ini? Dia adalah turunan Bani Ghifar. Kafilah-kafilah kita yang pulang pergi ke Syam terpaksa melalui perkampungan mereka. Kalaulah ia dibunuh, sudah tentu mereka menghalangi perniagaan kita dengan Syam.”
Pada hari berikutnya, Abu Dzar sekali lagi mengucapkan dua kalimah syahadah di hadapan orang-orang kafir Quraisy dan pada kali ini juga ia diselamatkan oleh Abbas. Luar biasa memang keberanian seorang Abu Dzar Al-Ghifari.