元史记载，“括回回炮兵营屯南京”(元时称开封为南京)。据传说开封城西北二十余里的回回寨，是回回兵屯驻地。因驻防日久，其后人繁衍日众，有一部迁居开封西门内，遂建立清真寺。据《如梦录》记述“三皇庙迤西三街都是庙宇，亦有皮局，回子居住。有礼拜寺，西邻玉阳砚，即杨六郎宅址”。现在的清真寺在西门大街以南，小衙门街南，究系何时建?可能是清康熙元年(公元1 662年)修复城垣成功，西门居民恢复原状时所迁建的。现在的清真寺，是在宣统年问西门内建修的。同时重修。该寺重修所用的琉璃瓦经社头刘永奎同意：与救苦庙同时同地烧制。该寺名西皮局寺，系因明清时在西门内设有皮局，因此得名。又因寺在城的西部，故名西皮局寺。亦有说皮业工人，在寺附近挖有泡皮沟渠，故名“西皮渠”。