وأول خطوة خطاها رسول الله صلى الله عليه وسلم بعد ذلك هو بناء المسجد النبوي، واختار له المكان الذي بركت فيه ناقته صلى الله عليه وسلم، فاشتراه من غلامين يتيمين كانا يملكانه، وأسهم في بنائه بنفسه، فكان ينقل اللبِن والحجارة ويقول‏:‏

‏(‏اللهم لا عَيْشَ إلا عَيْشُ الآخرة ** فاغْفِرْ للأنصار والمُهَاجِرَة‏)‏

وكان يقول‏:‏

‏(‏هذا الحِمَالُ لا حِمَال خَيْبَر ** هــذا أبـَــرُّ رَبَّنَا وأطْـهَر‏)‏

وكان ذلك مما يزيد نشاط الصحابة في العمل، حتى إن أحدهم ليقول‏:‏

لئن قَعَــدْنا والنبي يَعْمَل ** لـذاك مِــنَّا العَمَــلُ المُضَلَّل

وكانت في ذلك المكان قبور للمشركين، وكان فيه خرب ونخل وشجرة من غَرْقَد، فأمر رسول الله صلى الله عليه وسلم بقبور المشركين فنبشت، وبالخَرِب فسويت، وبالنخل والشجرة فقطعت، وصفت في قبلة المسجد، وكانت القبلة إلى بيت المقدس، وجعلت عضادتاه من حجارة، وأقيمت حيطانه من اللبن والطين، وجعل سقفه من جريد النخل، وعُمُده الجذوع، وفرشت أرضه بالرمال والحصباء، وجعلت له ثلاثة أبواب، وطوله مما يلى القبلة إلى مؤخره مائة ذراع، والجانبان مثل ذلك أو دونه، وكان أساسه قريبًا من ثلاثة أذرع‏.‏

وبني بجانبه بيوتًا بالحجر واللبن، وسقفها بالجريد والجذوع، وهي حجرات أزواجه صلى الله عليه وسلم، وبعد تكامل الحجرات انتقل إليها من بيت أبي أيوب‏.‏

ولم يكن المسجد موضعًا لأداء الصلوات فحسب، بل كان جامعة يتلقى فيها المسلمون تعاليم الإسلام وتوجيهاته، ومنتدى تلتقى وتتآلف فيه العناصر القبلية المختلفة التي طالما نافرت بينها النزعات الجاهلية وحروبها، وقاعدة لإدارة جميع الشئون وبث الانطلاقات، وبرلمان لعقد المجالس الاستشارية والتنفيذية‏.‏

وكان مع هذا كله دارًا يسكن فيها عدد كبير من فقراء المهاجرين اللاجئين الذين لم يكن لهم هناك دار ولا مال ولا أهل ولا بنون‏.‏

وفي أوائل الهجرة شرع الأذان، تلك النغمة العلوية التي تدوى في الآفاق، وتهز أرجاء الوجود، تعلن كل يوم خمس مرات بأن لا إله إلا الله وأن محمدًا رسول الله، وتنفي كل كبرياء في الكون وكل دين في الوجود، إلا كبرياء الله، والدين الذي جاء به عبده محمد رسول الله‏.‏ وقد تشرف برؤيته في المنام أحد الصحابة الأخيار عبد الله بن زيد بن عبد ربه رضي الله عنه فأقره النبي صلى الله عليه وسلم وقد وافقت رؤياه رؤيا عمر بن الخطاب رضي الله عنه فأقره النبي صلى الله عليه وسلم، والقصة بكاملها مروية في كتب السنة والسيرة‏.