白耇庙位于泉州城北县后街、模范巷交界处（原属小山境），坐北朝南，大门正对县后街，今存。历代有修缮，1995年再次重修。 据清乾隆《泉州府志》和《晋江县志》等记载，庙因奉祀毗舍耶（印度洋山神，泉人称为“白狗神”），故得“白耇庙”之俗称。后来由于世氏汉化，祀神复杂起来，屡次更换。现中殿奉祀毗舍爷、杨六郎、玄天上帝、田都元师、文昌帝。

现庙宇为歇山式建筑，庙深22.8米，宽为20.6米，总面积420平方米。庙的主要建筑前殿、东廊、后殿尚未恢复。经庙前有一对明代古鼓。庙柱有“善廉耻何须恭敬，恶刁猾徒费心思”等对联。

白耇庙是是明代定居泉州的锡兰王子昔利巴交刺惹的后裔世氏的祖庙。

城东北一峰书街一带，曾是世氏的聚居地。清光绪十八年（1892年）编修的台湾漳化《世氏族谱·重修族谱序》云：“我祖遂家温陵（泉州别称）南街忠諌坊脚，有大宗祠，后被火。城北一峰书街亦有小宗，数年前被功兄载亨折卖，基址尚存。” 《世氏族谱·锡兰祖训》又云：“旧有大宗祠在泉城内南街忠諌坊脚，因被回禄而废；而城北一峰书街有小宗，被孽侄再亨毁折，至今先灵无所式凭。” 清世拱显系“锡兰山君长邪巴来那公之后”，居住小山境，目前该地域还有一片残垣断壁荒地称“世相公宅”，在“世相公宅”旁发现一尊人形狮头石雕像（谢长寿主编《温陵白耇庙》，1998.11）。“世相公宅”的位置，与台湾漳化《世氏家谱》所记“世氏小宗祠在城东北一峰书街”完全吻合。

白耇庙是印度教寺庙

泉州地方史学家吴文良从戴密微、艾克、林惠祥等研究成果（见下“印度教石刻”），又从乾隆《泉州府志》记载，以及《明史·锡兰山》《明史·郑和传》《星槎御览》《西洋番国志》《明史实录》和《瀛崖胜览》等记载，结合自己多年来在小山丛竹亭附近发现的石卧狮、须弥座祭坛石刻和白耇庙崇祀白狗神（狗，印度教称为印度洋山神），得出“泉州白耇庙可能是一座锡兰人兴建的印度教寺庙”结论。1964年，北京故宫博物院院长韩槐准支持这一观点。