Masjid Nabawi adalah masjid kedua yang dibangun oleh Rasulullah S.A.W, setelah Masjid Quba yang didirikan dalam perjalanan hijrah dia dari Mekkah ke Madinah. Masjid Nabawi dibangun sejak saat-saat pertama Rasulullah S.A.W. tiba di Madinah, iyalah di tempat unta tunggangan Nabi S.A.W. menghentikan perjalanannya.
Lokasi itu semula adalah tempat penjemuran buah kurma milik anak yatim dua bersaudara Sahl dan Suhail bin ‘Amr, yang kemudian dibeli oleh Rasulullah S.A.W. untuk dibangunkan masjid dan tempat kediaman dia.
Awalnya, masjid ini berukuran sekitar 50 m × 50 m, dengan tinggi atap sekitar 3,5 m Rasulullah S.A.W. turut membangunnya dengan tangannya sendiri, bersama-sama dengan para shahabat dan kaum muslimin. Tembok di keempat sisi masjid ini terbuat dari batu bata dan tanah, sedangkan atapnya dari daun kurma dengan tiang-tiang penopangnya dari batang kurma. Sebagian atapnya dibiarkan terbuka begitu saja. Selama sembilan tahun pertama, masjid ini tanpa penerangan di malam hari. Hanya di waktu Isya, diadakan sedikit penerangan dengan membakar jerami.