清咸丰年间西北五省回民起义，遭到左宗棠等人的镇压。部分起义群众陆续迁入开封，至同治间已有300余家。这部分移民善于经商开始大多经营贩马，所以开封人称之为"马客伙"后来部分在开封经营商铺。他们的宗教活动原来在文殊寺，以后因教派不同，就筹划自建清真寺。为避清廷耳目，仿同乡会馆之格局，用设义塾名义，呈请当局。祥符县于同治十三年（1874年）颁发告示："查该商民等捐资设塾，实属善举，足见仗义疏财，足堪嘉尚，已批准立案办理。"自此动工至光绪十三年（1887年）前后13年始告完工，共用银19300余两。共建成"大殿十楹、拜殿七楹、两厢讲堂十楹、西厢学房六楹、门房二楹、经学堂十五楹、群房二十九楹、后殿二楹、耳房四楹、三门五楹、大门二楹、浴堂十楹、门面房十九楹、后门一楹，共房百十六楹"。

　　善义堂建成后，由于地方士绅的反对，不允许称清真寺，直到光绪二十七年（1901年）慈禧由西安返京，在开封停留时，由其先行官回族马安良将实情禀告后，得慈禧亲题"清真寺"匾额，才得以正名为善义堂清真寺。

　　善义堂前为义塾，后列善堂。其义塾常请名师讲学，曾创立河南阿文大学及阿文教育小班，并教读四书、五经，培养出不少有学识的哈里发，学成后赴全省及西北地区开帐讲学。民国后将义塾部分改为民生小学，直到1949年学校才停办。

　　善义堂清真寺曾一度改为工厂，1980年才恢复宗教活动。