كان مكان المسجد خاناً ( ويقال كان كنيسة ولكنه قول مشكوك فيه ) ، والذى حاز موضعه قيسبةُ بن كلثوم التُجَيبي أبو عبد الله أحد بنى سَوم ، فلما رجع المسلمون بقيادة عمرو من الأسكندرية ، سأل عمرو قيسبة المذكور فى منزله هذا يجعله مسجداً ، فقال له قيسبة : فإنى أتصدق به على المسلمين ، فسلمه اليهم ، وبنى الجامع فى سنة إحدى وعشرين ، وكان طوله خمسين ذراعاً فى عرض ثلاثين ، ويقال إنه وقف على إقامة قبلته ثمانون رجلاً من الصحابة ، منهم : الزبير بن العوام ، والمقداد بن الأسود ، وعبادة بن الصامت ، وأبو الدرداء ، وأبو ذر الغفارى ، وأبو بصرة الغفارى ، ومحمية بن جَزء الزُبيدى ،ونُبيه بن صواب وغيرهم ، وكانت القبلة جهة الشرق قليلاً ، فلا هدم المسجد وبنى ثانية فى زمان الوليد بن عبد الملك بن مروان تيامن بها قليلاً .
وذكر أن الليث بن سعد وعبد الله بن لهيعة كانا يتيامنان إذا صليا فى المسجد الجامع ، ولم يكن للمسجد الذى بناه عمرو محراب مجوف ، بل أعمدة قائمة بصدر الجدار ، وإنما قُرة بن شُرَيك هو من جعل المحراب المجوف .
وأول من حدث ذلك عمر بن عبد العزيز ، وهو يومئذ عامل الوليد بن عبد الملك على المدينة ليالى أسس مسجد رسول الله صلى الله عليه وسلم لما هُدم وزاد فيه ، وكان لمسجد عمرو بابان يقابلان دار عمرو بن العاص ، وبابان فى بحريّه ، وبابان فى غربيه ، وكان الخارج من زقاق القناديل يجد ركن الجامع الشرقى محاذياً لركن دار عمرو الغربى ، وكان طوله من القبلة الى البحرى مثل طول دار عمرو ، وسقفه مطأطئا جداً ولا صحن له ، وكان الناس فى الصيف يصطفون بفنائه ، وكان بينه وبين دار عمرو سبعة أذرع ، وكان الطريق محيطاً به من جميع جوانبه .
وكان عمرو قد اتخذ منبراً فكتب اليه عمر بن الخطاب رضى الله عنه يعزم عليه فى كسره ويقول : أما بحسبك أن تقوم قائماً والمسلمون جلوس تحت عقبيك ! فكسره عمرو .
وأول من صلى عليه من الموتى به فى داخله أبو الحسين سعيد بن عثمان صاحب الشرطة فى النصف من صفر ، وكانت وفاته فجأة فأخرج وصلى عليه خلف المقصورة وكبر عليه خمساً ، ولم يعلم أحد قبله صلى عليه فى الجامع ، وأنكر الناس ذلك .
وأول من زاد فى الجامع ( مسلمة بن مخلد الأنصارى ) أمير مصر فى أيام معاوية سنة ثلاث وخمسين ، فزاد فيه من بحريه وجعله رحبة فى البحرى وبيضه وزخرفه ، ولم يغير البناء القديم ولا أحدث فى قبليه ولا غربه شيئاً ، وذكر أنه زاد فيه من شرقيه حتى ضاق الطريق بينه وبين دار عمرو بن العاص وفرشه بالحصر وكان مفروشاً قبل ذلك بالحصباء .
وقيل أن مسلمة نقض ما كان عمرو بناه وزاد فيه من شرقيه وجعل له صوامع ، وبنى فيه أربع صوامع فى أركانه الأربعة ، وأمر ببناء المنارات فى جميع المساجد ، وأمر مسلمة أن يكتب اسمه على المنائر ، وأمر مؤذنى المسجد الجامع أن يؤذنوا للفجر إذا مضى نصف الليل ، فإذا فرغوا من أذانهم أذن كل مؤذن فى الفسطاط فى وقت واحد ، فكان لأذانهم دوى شديد ، وأمر ألا يُضرب بناقوس عند وقت الأذان ( الفجر ) .
ثم ان ( عبد العزيز بن مروان ) هدمه سنة تسع وسبعين ، وهو أمير مصر من قبل أخيه عبد الملك بن مروان ، وزاد فيه من ناحية الغرب وأدخل فيه الرحبة التى كانت فى بحرّيه ولم يجد فى شرقيه موضعاً يوسعه به .
وذكر الكندى فى كتاب الأمراء أنه زاد فيه من جوانبه كلها ، ويقال : إن عبد العزيز لما أكمل بناء المسجد المذكور خرج من دار الذهب عند طلوع الفجر فدخل المسجد فرأى فى أهله خِفة فأمر بأخذ الأبواب على من فيه ، ثم دعاهم رجلاً رجلاً يقول للرجل : ألأك زوجة ؟ فيقول : لا ، فيقول : زوجوه ، ألك خادم ؟ فيقول : لا ، فيقول : إخدموه ، أحَجَجت ؟ فيقول : لا ، فيقول : أحجوه ، أعليك دين ؟ فيقول : نعم ، فيقول : اقضوا دينه ، فأقام المسجد بعد ذلك دهراً عامراً ثم الى اليوم .
وذُكر أن عبد الله بن عبد الملك بن مروان فى ولايته على مصر من قبل أخيه الوليد أمر برفع سقف المسجد الجامع وكان مطأطئاً وذلك فى سنة تسع وثمانين ، ثم إن قرة بن شريك العبسى بن قيس عيلان هدمه فى مستهل سنة اثنتين وتسعين بأمر الوليد بن عبد الملك بن مروان ، وقُرة أمير مصر من قبله ، وابتدأ فى بنائه فى شعبان من السنة المذكورة ، وجعل على بنائه يحيى بن حنظلة مولى عامر بن لُؤى ، وكانوا يُجّمعون الجُمعة فى قيسارية العسل حتى فرغ من بنائه فى رمضان سنة ثلاث وتسعين ونصب المنبر الجديد فى سنة أربع وتسعين ، ونزع المنبر الذى كان فى المسجد ، وذُكر أن عمرو بن العاص كان جعله فيه ، ولعله كان وضعه بعد وفاة عُمر بن الخطاب ، وقيل هو منبر عبد العزيز بن مروان .
وذُكر أنه حُمل اليه من بعض كنائس مصر ، وذُكر أن زكريا بن مرقى ( أو برقنى أو مرقيا ) ملك النوبة أهداه الى عبد الله بن سعد بن أبى سرح ، وبعث معه نجاراً يُسمى ( بُقطر ) من أهل دندرة ، حتى ركبه ، ولم يزل هذا المنبر فى الجامع الى أن زاده قُرة بن شُريك فى الجامع ، فنصب منبراً سواه ، ولم يكن إذ ذاك يُخطَب فى القُرى إلا على العُصِى إلى أن ولى عبد الملك بن مروان بن موسى بن نُصير اللخمى مصر من قبل مروان بن مُحمد ، فأمر باتخاذ المنابر فى القُرى ، وذلك فى سنة اثنتين وثلاثين ومائة ، ولا يُعرف منبر أقدم من منبر قُرة بن شُريك بعد منبر رسول الله صلى الله عليه وسلم ، فلك يزل كذلك الى أن وقع وكُسر أيام العزيز بالله نزار العُبيدى ، بنظر الوزير ابن كِلِّس فى يوم الخميس لعشر بقين من شهر ربيع الأول سنة تسع وسبعين وثلاثُمائه ، وجُعل مكانه منبر من الذهب ، ثم أُخرج هذا المنبر الى الإسكندرية وجُعل بجامع عمرو بن العاص الذى بها ، ثم انزل المنبر الكبير الى الجامع المذكور فى أيام الحاكم بأمر الله العُبيدى فى شهر ربيع الأول سنة خم وأربعمائه ، وصًُرف بنو عبد السميع عن الخطابة وجُعلت خطابته لجعفر بن الحسن بد خَدَّاع الحُسيني ، وجعل الى أخيه الخطابة فى جامع الأزهر ، وصُرف بنو عبد السميع ( بن عمر بن الحسين بن عبد العزيز بن عبد الله بن عبيد الله بن العباس ) من جميع المنابر ، بعد أن أقاموا هم وسلفهم فيها ستين سنة ، ثم وُجد بعد ذلك المنبر الجديد الذى نُصب بالجامع قد لُطخ بالقذر فوكل به من يحفظه وعمل له غشاء من أدم مُذهب ، وخطب عليه ابن خداع وهو مُغَشَّى .
وكانت زيادة قرة بن شريك من القبلى والشرقى وأخذ بعض دار عمرو بن العاص وابنه عبد الله فأدخله فى المسجد ، وأخذ منهما الطريق التى بين المسجد وبينهما ، وعوض أولاد عمرو ما هو فى أيديهم من الرباع التى فى زقاق مليح فى النحاسين وقشرة ، وأمر قُرة بعمل المحراب المُجوف ، وهو المحراب المعروف بمحراب عمرو ، المسجد القديم الذى بناه عمرو ، وكانت قبلة المسجد القديم عند العُمُد المذهبة فى صف التوابيت ، وهى أربعة عُمُد : اثنان فى مُقابلة إثنين ، وكان قُرة قد أذهب رؤوسها ، ولم يكن فى المسجد عمد مذهبة غيرها ، وكانت قديماً حلقة أهل المدينة ، ثم زوق أكثر العمد وطوق فى أيام الإخشيد سنة أربع وعشرين وثلاثُمائه ، ولم يكن للمسجد أيام قرة غير هذا المحراب .
فأما المحراب الأوسط فيُعرف بمحراب عُمر بن مروان أخى عبد الملك بن موان الخليفة ، ولعله أحدثه فى الجدار بعد قُرة ، وذكر قوم أن قُرة عمل هذين المحرابين ، وصار للجامع أربعة أبواب شارعة فى زقاق يعرف بزقاق البلاط ، وفى بحريه ثلاثة أبواب.