由旅居上海的赛法迪姆犹太人建立。

埃尔会堂建立后，有一次在赎罪日期间，个别教徒乘着马车到会堂礼拜，触犯了正统派的教规，激怒了埃尔会堂的教职人员，为了维护正统派教规的严肃性，决定另建一所新的会堂。光绪二十六年在熙华德路（今长治路）赁屋建立上海第二所犹太会堂舍里特·以色列会堂。会堂附设一所塔木德经文学校（午后上课的希伯来学校）和一所涤罪浴室（举行宗教洁礼的场所）。

民国9年，欧司爱·哈同独资捐献建造阿哈龙会堂后，舍里特·以色列会堂关闭。