伊斯蘭教於公元七世紀初經由穆罕默德的傳播而興起於阿拉伯半島，後發展為世界性宗教之一。唐永徽二年（651年）傳入中國。亦稱"清真教"、"天方教"、"回回教"，民國時期多稱為"回教"。1956年6月2日起，國內統稱為"伊斯蘭教"，其教徒統稱"穆斯林"。
伊斯蘭教傳入上海始於元代。至元十四年建立松江府，沙全任松江府達魯花赤，元軍官兵及家屬遂定居松江，其中有信奉伊斯蘭教的穆斯林，從而把該教帶入上海。元至正年間（1341-1868年），在松江府西景家堰北與"回回"接壤處，建立了上海地區第一座清真寺--松江真教寺。
明代，有回回將領駐守金山衛和嘉定等地。明天順年間（1457-1464年），明朝為鞏固海防又將在西北地區甘州、涼州的2千多名"寄居回回"、"歸屬回回"遷徙到江南各衛（包括上海金山衛）。明萬曆元年（1573年），青浦縣聚星街增建了一所"真教祠"。
上海開埠以後，來滬謀生的穆斯林人數增多，並陸續建造了草鞋灣清真寺（俗稱南寺）、穿心街清真寺（俗稱北寺）、浙江路回教堂（俗稱外國寺）、滬西清真寺、清真女寺、小桃園清真寺等。
1937年"八一三"日軍侵犯上海，使上海穆斯林生命財產蒙受慘重損失，有4座清真寺（含2座女寺）毀於日軍戰火，數千穆斯林難民流離失所，多數伊斯蘭教社團和雜誌被迫解散和停刊。與此同時，也激發了上海穆斯林愛國愛教精神的發揚，和全國人民一道同仇敵愾共同抗日。
上海解放後，黨和政府注意提高少數民族的政治地位，關心伊斯蘭教工作。中共十一屆三中全會以後，重新落實民族宗教政策，穆斯林的宗教信仰和正當的宗教活動受到尊重和保護。1979年6月，上海市伊斯蘭教協會恢復工作，在協助政府有關部門落實宗教政策，平反糾正伊斯蘭教界冤假錯案，恢復開放清真寺，培養年輕阿訇、恢復和開展伊斯蘭文化工作，協助政府妥善處理突發事件，開展同國內外穆斯林友好交往，努力實現宗教自養等方面做了許多工作。市、區人民政府對滬西清真寺、浦東清真寺和江灣清真寺的移地重建、上海清真女寺的恢復以及對小桃園清真寺、松江清真寺的修繕工作給予政策上的支持並多次撥款。
上海市伊斯蘭教協會設在小桃園清真寺內。2012年2月，在上海市伊斯蘭教協會第八次代表會議上，產生了新一屆領導班子，金宏偉任會長，白潤生、方宗偉、花以友、趙學義任副會長，方宗偉兼任秘書長。
