في السنة الثانية عشر للهجرة عمل أبوبكر الصديق رضي الله عنه على إصلاح المسجد واستبدل جذوع النخل القديمة بأخرى جديدة ولم يزد فيه شيئا.

زيادة الخليفة عمر بن الخطاب رضي الله عنه (سنة 17هـ ) :
روى البخاري (أن المسـجد كان على عـهد رسول الله صلى الله عليه وسلم مبنيا باللبن وسقفه بالجريد وعمده خشب النخل، فلم يزد فيه أبو بكر شيئا، وزاد فيه عمر، وبناه على بنيانه في عهد رسول الله صلى الله عليه وسلم باللبن والجريد وأعاد عمده خـشبا ثم غيره عثـمان فزاد فيه زيادة كـبيرة وبنى جداره بالحـجارة المنقـوشة والقصة، وجعل عـمده من حجارة منقوشة وسقفه بالساج ).
قـال السهـيلي: بني مسـجد رسـول الله صلى الله عليه وسلم ، وسقف بالجريد، وجـعلت قبلته من اللبن، ويقال: بل من حجارة منضودة بعضهـا على بعض، وحيطانه من اللبن، وجعلت عمده من جذوع النخل، فنخرت في خلافة عمر فجددوها قال أبو سعيد الخد ري رضي اللـه عنه: كان سقف مسجد النبي صلى الله عليه وسلم من جريد النخل، وأمـر عمر ببناء المسجد، وقال: أكف الناس من المطر وإياك أن تحمر أو تصفر فتفتن الناس.

وقد شرع عمر رضي الله في توسعته سنة 17 هجرية فقام بشراء الدور التي حول المسجد وأدخلها فيه، وزاد من ناحية الغرب عشرين ذراعاً، ومن جهة الجنوب (القبلة) عشرة أذرع، ومن الجهة الشمالية ثلاثين ذراعاً وأصبح طول المسجد 140 ذراعاً (70مترا تقريباً) من الشمال إلى الجنوب، و120 ذراعا ( 60 مترا تقريبا ً ) من الشرق إلى الغرب، ولم يزد من جهة الشرق لوجود حجرات أمهات المؤمنين ومنها حجرة عائشة رضي الله عنها حيث دفن رسول الله صلى الله عليه وسلم وصاحبه.

وكان بناؤه رضي الله عنه كبناء النبي صلى الله عليه وسلم ، جدرانه من اللبن وأعمدته من جذوع النخل وسـقفه من الجريد بارتفاع 11 ذراعاً، وجعل له حصوة غير مسقوفة فرشت بالحصباء و سترة بارتفاع ذراعين أو ثلاثة، وجعل للمسـجد 6 أبواب :اثنان من الجهة الشرقية (باب عثمان المسمى باب جبريل ، وأستحدث باب النساء) ، وبابان من الجهة الغربية (باب عاتكة المسمى باب الرحمة ،

وأستحدث باب السلام)، وبابان من الجهة الشمالية. وفرش المسجد بحصباء جيء بها من العقيق فرشت عليها الحصر ، كما استحدث رحبة خارج المسجد عرفت بالبطحاء. وأدخل عمر رضي الله عنه المصابيح لإنارة المسجد وبدأ في تجميره أيام الجمع ورمضان. و تقدر الزيادة في عهد عمر رضي الله عنه بحوالي 1100 مترا مربعا، وبهذا أصبحت مساحة المسجد في العام الرابع عشر للهجرة 3575 مترا مربعا.

زيادة الخليفة عثمان بن عفان رضي الله عنه ( 28 – 30هـ) :
روى أبو داود عن ابن عمر رضي الله عنهما، قال: إن مسجد النبي، صلى الله عليه وسلم ، كانت سواريه على عهد رسول الله، صلى الله عليه وسلم ، من جذوع النخل، وأعلاه مظلل بجريد النخل. ثم إنها نخرت في خلافة أبي بكر رضي الله عنه فبناها بجذوع النخل وبجريد النخل. ثم إنها نخرت في خلافة عثمان رضي الله عنه فبناها بالآجر.


زاد رضي الله عنه في توسعة المسجد، من جهة القبلة ( الجنوب ) عشرة أذرع، ومن جهة المغرب 10 أذرع جعلها رواقا واحدا ومن الجهة الشمالية 20 ذراعاً. و كما فعل عمر رضي الله عنه لم يزد من ناحية المشرق لوجود بيوت النبي صلى الله عليه وسلم وكان أقربها بيت عائشة رضي الله عنها الذي دفن فيه رسول الله صلى الله عليه وسلم وصاحبيه ابوبكر وعمر رضي الله عنهما. وبقى المسجد كما كان على عهد عمر رضي الله عنه في تلك الجهة وأصبح طوله من الشمال إلى الجنوب 170 ذراعا ( 85 مترا تقريبا ) ومن الشرق إلى الغرب 130 ذراعا ( 65 مترا تقريبا ). وتقدر هذه الزيادة بحوالي 496 متراً مربعاً. وكان عدد الأعمدة في كل الأروقة اثنا عشر عمودا وقد اعتنى رضي الله عنه ببنائه عناية كبيرة حيث بنى جدرانه من الحجارة المنقوشة والجص، وجعل أعمدته من الحجارة المنقورة وبداخلها قضبان من الحديد مثبة بالرصاص، وسـقفه بخشـب السـاج محمول على جسور خشبية، ترتكز على الأعمدة، وعمل بالحائط الشرقي والغربي فتحات في الجزء العلوي من الحائط ولم يزد شيئا في أبواب المسجد بل بقيت كما كانت سـتة أبواب بابين من الجهة الشمالية وبابين من الجهة الغربية وبابين من الجهة الشرقية.

وروي عن مالك بن أنس رضي الله عنه أنه قال: لما استخلف عثمان بعد مقتل عمر بن الخطاب رضي الله عنهما، عمل عثمان مقصورة من لبن، فقام يُصلي فيها للناس خوفاً من الذي أصاب عمر، وكانت صغيرة وذكر النووي أن أول من اتخذ المقصورة معاوية رضي الله عنه وقيل عمر بن عبد العزيز.
وبقي المسجد على تجديد عثمان إلى سنة ثمان وثمانين من الهجرة مما يدل على متانة البناء في عهد الخليفة المذكور .وقد بلغت مساحة المسجد في عهد عثمان رضي الله عنه حوالي 4071 مترا مربعا.