民国3年（1914年）左右，湖北、山东、河南、安徽等地来沪做工的穆斯林贫民集中居住在小沙渡（今西康路）一带，由于宗教生活需要，由湖北穆斯林在药水弄又租赁1间小屋，作为临时礼拜场所。民国10年（1921年）前后，金质庵、马乙棠、蒋星阶与上海清真董事拟定募捐２000元助该寺，在药水弄内租地0．8亩，续租十年，建造清真寺。民国11年（1922年）7月竣工，共建大殿三间、对厅三间、厢房1间。民国24年（1935年）整修，大殿可容200人同时礼拜，庭院种植花草。民国36年（1947年），教长马人斌倡议募捐修建，并购置原租地产权。

　　1949年中华人民共和国成立以后，该寺屡经维修。0结束后，该寺于1979年重新恢复宗教活动。1990年，普陀区政府为改造药水弄旧区，决定在常德路拨地2.5亩重建清真寺。1990年7月4日动工，1992年4月竣工。新建的沪西清真寺，建筑面积N％平方米。它由双心拱门，扇形穹窿顶的两层礼拜殿为主体建筑，与两条走廊辅助建筑相衔接，宣礼塔高达25米。礼拜殿分上下两层，配有男女浴室，讲经堂、教长室、会客室等。前0院各有彩色喷泉，院顶饰有6个拱形圆顶，3个装有新月标志。

　　这是中华人民共和国成立后上海第一座重建的清真寺。在重建过程中，普陀区政府，市民委、市伊协和各有关部门，海内外穆斯林给予很大的关切和经济支援，共集资约240余万元，其中普陀区人民政府拨资160万元，市伊协出资70余万元。