建立背景
善義堂清真寺大家集資捐款，其中馬自忠捐的銀兩為最多，蘇占傑次之。鑒於所謂“秦川之亂”才平，而由西北來的這一部分回民建寺之事，恐難得到開封祥符縣準核，故仿效省會館聚同鄉行義事之舉，籌建“善義堂”。由在城商民“忠義和”號馬自忠、“信義長”號蘇占傑、“明發祥”號伍廷發、“義升德”號於義升、“德盛店”號洪德語、“復盛和”號馬自鵬等聯合呈請祥符縣準許建寺。在鼓樓街南買地準備建寺，然卻費一番很大的周折。當時滿清政府已腐朽無能。首先，建寺選擇地點距鐵佛寺和相國寺很近，動工修建時鐵佛寺和相國寺提出意見，清真寺的建築不得高於他們二者的建築，同時，又有人密告官府，說這些從西北來的馬客集資建寺是假，圖謀不軌為真。
滿清政府信以為真，通告所有社頭到衙門過堂。據老人講，讓士兵抬出火盆，從裡面拿出燒得通紅的鐵鏈，然後對這些社頭說，如果敢跪在鐵鏈上，就表明是真心建清真寺；如果不敢跪，就表明不是真心。這樣不但不予批准建寺，而且還要逮捕懲治這些回民。
話剛完，蘇老社頭毫無猶豫地跪到鐵鏈上，當官的趕忙讓士兵扶起蘇老社頭，並為其真心所動，當場批准建寺。
寺建成，只能命名為善義堂，其意善者國之珍，義者事之乾，聖賢以此訓人，而不能帶清真寺三字。
寺位於鼓樓南，座西向東，其寬闊約占十餘畝地基。頭二門樓以及院內前後房屋，共一百一十六間，此後又在鼓樓街路南路北、馬道街路東又購置房屋數處，作為善義堂附屬院落。寺院建築皆系舊式大屋，南北講堂也甚為寬闊。大殿宏暢寬大，約能容三百餘人同時祈禱，中院大且而淨，春夏秋冬四時雜花遍植其中，處處可人。
修繕重建
1900年，八國聯軍攻占北京，慈禧太后逃難西安。北京安定後，返京路過開封，其前部先行官馬安良（回族人）到善義堂作禮拜，問及為什麼不用清真寺之名，老社頭們說明事由，並寫了萬民冊，通過馬安良交付慈禧太后，申明善義堂建立用意是禮拜祈禱，決無謀反之不軌，並請她親臨善義堂。慈禧太后看萬民冊後，經過查問，認為民眾捐錢建寺，勸化愚民，設塾辦學，教化頑童，事屬善舉。批准可以用清真寺名，並親筆題詞“善義堂清真寺”送與善義堂（該匾在文革中散失），從此善義堂遂名為“善義堂清真寺”。民國時期，本區域回民約有百二十戶上下，多居於鵓鴿市、牲口市後第四巷數街，其中有三分之二，系清時甘、青一帶大賈因行商於此年久，後遂於此立家成業，回民亦仍有作行商，往來於滬、漢、杭等埠間；其餘有少數系由山東、陝西謀生來此者，則多開飯鋪賣飯為業，生活儉樸。
文革期間，發生了很大變化，極左路線使造反派多次到寺內破四舊，卷棚上二十多塊大匾和大殿柱前抱匾，皆被摘下毀掉。據憶匾有成親王題的“無畏上帝”、醴親王“在明明德”、左宗棠題的“道之大源”、協鎮馬策勛題的“西方區域”及“認主獨一”等，皇廷還恩賜十八歲翰林馬文夢親書卷棚四個抱柱。大殿內還有阿訇馬壽清書寫一塊阿文匾和兩個抱柱。過去大殿內外，真是琳琅滿目，金光閃閃，筆墨薈萃，整個寺院裝飾得金碧輝煌，可惜在文革期間全已遺失。寺也被占用闢為鼓樓區屬——電動工具廠。禮拜停止，門毀窗倒。
在教育方面，清光緒十四年（1888年）寺內設塾，開始教授學生五經四書，進入民國時期，改為民生國小，至一九四九年才停止。
十一屆三中全會以來，撥亂反正，恢復宗教活動，發還寺院，兩年間被陸續退回。靠房租維持清真寺的開支，並一步步整修清真寺。
規模建制
現寺仍不失昔日之別致壯觀，大門4間樓，為貯藏室和會計室，往裡南為3間辦公室，北為3間殯儀室；進二門，連過庭間一，繼之南北講堂各10間，東西長廊並峙；南講堂西南有水房6間。大殿古老雄偉，卷棚三十五間，內三十二根珠紅大柱，氣勢咄人，畫棟雕梁，刻楹潔壁；大殿三十五間，後窯一間，殿內深處，寬敞明淨，莊嚴肅穆，寧靜清心。寺存碑三，位大殿前，一書《善義堂記》碑，系光緒戊子年（公元1888）清和月既望吉月立，按察使御前安徽風穎六泗兵備道劉毓栴撰文，載善義堂清真寺建寺情況及捐款人名和數目，另《萬善同歸》碑，位《善義堂記》碑側，系與其同年立，也載捐款名單數目；還有一碑《流芳百代》系同治十三年（公元1874）十月二十九日立。另留兩個穿衣鏡，邊係為檀木。
寺南有女寺一，建寺比男寺稍晚，有大門一間，一排南廂房，西房為禮拜大殿，前有出檐，立有明柱。文革時停止，後恢復修建。
