同治元年，來滬定居的回族穆斯林日見增多。先後在肇嘉浜兩側置回民墓地。當時有回族禹永春以提籃販賣牛肉為生，他用畢生經營所得，在墓地旁購地造屋，為穆斯林同胞到墓地安葬親人、掃墓提供歇息場所。回族同胞感其德，於是合力相助，建成了息心亭。
光緒十八年，在亭旁建造兩廂式平房6間，東側造平房4間4披，作為殯葬、走墳、服務的宗教場所。宣統二年，上海清真董事會金子云等人募資2000銀元，擴建清真寺，不足之數3000餘元及工程策劃管理，均由蔣星階承擔。民國元年新寺落成。民國13年，募足款項3000銀元再度整修。
清真別墅在20年代，韓禮堂阿訇任教長時，曾舉辦經堂教育。民國37年11月，教長金耀祖舉辦過普慈幼兒教育所，招收孤兒15人。
“文化大革命”期間，清真別墅改作工廠。1983年，由市伊協收回管理。1985年，租借給穆斯林開發公司，1998年由市民委改建為明珠飯店。
該寺歷任教長有馬抑之、韓禮堂、藍鳳雲、金耀祖、朱拙然、楊潤生、穆序臣等。
