回族等10個少數民族實行土葬，有其深刻的歷史根源和宗教影響，依照伊斯蘭教的教義，“安拉”（伊斯蘭教信奉的唯一主宰的名稱）用泥土造化了人的生命，又回歸於泥土之中，然後再從泥土中復活。據此，信仰伊斯蘭教的民族千百年來實行土葬，並演變成了回族等少數民族的生活習俗。新中國成立之初，在實行殯葬改革提倡遺體火化時，國家民委和民政部就明文規定回族等10個少數民族保持土葬習俗不變。解放後，上海市人民政府為尊重回族等十個信仰伊斯蘭教的少數民族的土葬習俗，在市郊大場、龍華、浦東等處劃定一些分散的小規模的回民墓地。文化大革命期間，市內各處回民公墓均被毀，並強迫回民死亡後一律實行火葬。1979年2月，國家民委、民政部發出《關於不要強迫回族實行火葬問題的通知》。同年4月，上海市民政局、上海市民委發出《關於恢復回民公墓的通知》，決定在青浦徐涇衛家角，原吉安公墓舊址，恢復回民公墓。1985年，上海市回民公墓由市民政局移交給市民委管理。1986年10月，經上海市編制委員會批准，成立了上海市回民公墓管理所。
回民公墓自1979年4月恢復至今，在有關部門的領導下，經公墓各族職工不斷努力，已初步實現了園林化、制度化、規範化和“一條龍”服務。
