滬西清真寺原名藥水弄回教堂，又稱小沙渡回教堂。俗稱老寺。原址在西康路1501弄（藥水弄）80支弄，1992年4月遷常德路1328弄3號。

　　民國3年（1914年）左右，湖北、山東、河南、安徽等地來滬做工的穆斯林貧民集中居住在小沙渡（今西康路）一帶，由於宗教生活需要，由湖北穆斯林在藥水弄又租賃1間小屋，作爲臨時禮拜場所。民國10年（1921年）前後，金質庵、馬乙棠、蔣星階與上海清真董事擬定募捐2000元助該寺，在藥水弄內租地0．8畝，續租十年，建造清真寺。民國11年（1922年）7月竣工，共建大殿三間、對廳三間、廂房1間。民國24年（1935年）整修，大殿可容200人同時禮拜，庭院種植花草。民國36年（1947年），教長馬人斌倡議募捐修建，並購置原租地産權。

　　1949年中華人民共和國成立以後，該寺屢經維修。文化大革命結束後，該寺于1979年重新恢復宗教活動。1990年，普陀區政府2改造藥水弄舊區，決定在常德路撥地2.5畝重建清真寺。1990年7月4日動工，1992年4月竣工。新建的滬西清真寺，建築面積1690平方米。它由雙心拱門，扇形穹窿頂的兩層禮拜殿爲主體建築，與兩條走廊輔助建築相銜接，宣禮塔高達25米。禮拜殿分上下兩層，配有男女浴室，講經堂、教長室、會客室等。前後庭院各有彩色噴泉，院頂飾有6個拱形圓頂，3個裝有新月標誌。

　　這是中華人民共和國成立後上海第一座重建的清真寺。在重建過程中，普陀區政府，市民委、市伊協和各有關部門，海內外穆斯林給予很大的關切和經濟支援，共集資約240余萬元，其中普陀區人民政府撥資160萬元，市伊協出資70余萬元。