中国福建南部的泉州约于1350年代开埠，成为当时中国对外主要港口之一。当时不但信奉伊斯兰教的元朝将其穆斯林思想传入该地，更有远来自阿拉伯经商商人的将其宗教宣扬引进，因此有不少汉人皈依伊斯兰，成为穆斯林。1368年，蒙古人建立的元朝势力于福建泉州境内消退，但是泉州人仍有一定数目的穆斯林。

1661年，福建汉人郑成功攻下当时由荷兰统治的台湾，随同登陆台湾的福建军民也有不少穆斯林。他们大部分是来自泉州的郭姓汉人，相传是唐代名将郭子仪后代。以郭氏家族为主的穆斯林汉人，不但于鹿港定居，并建有台湾首座清真寺，不过因为缺乏宣扬该教的依玛目人才，当地维持伊斯兰信仰的穆斯林人数并不多。

伊斯兰教于台湾真正大有进展是1949年国共内战后，随着白崇禧与马步芳等知名伊斯兰教徒人士来台定居的20,000名穆斯林教众。这些大都是军人、公务员、教员的穆斯林，主要居住地点分为台北市与高雄市。另外，1954年也有一批自滇缅边区游击部队撤退来台或自行移民的云南穆斯林，聚居在台北中和、永和及中坜龙冈等地，以眷区型态维持本身信仰。

1950年代至1960年代，因为20,000多名穆斯林与知名将领白崇禧推动下，本来迹近绝灭台湾伊斯兰教，有了一定程度的复兴。1980年代以前，更因台湾与许多中东国家的政经交往密切，穆斯林人数呈现一定发展，从20,000人增长到50,000人。

1980年代后，因为种种因素，台湾的伊斯兰教发展开始走下坡，信仰人数并无所增长。2003年的美国国务院报告显示台湾全境约有53,000人（0.2%）为逊尼派穆斯林。“中央研究院”社会学研究所研究员瞿海源所著《台湾宗教变迁的社会政治分析》一书中则认为现今台湾穆斯林约只剩下两万人。而位于台湾的“中国回教协会”秘书长马忠尧则估计台湾现约只有五千位穆斯林定期参加主麻聚礼的传统回教礼拜。

2000年代，台湾比较知名的穆斯林为石永贵、马镇方、穆闽珠、林忠正、丁守中、刘文雄。其中，以当任“立法委员”的刘文雄参与教务最为积极。