据传昌平镇清真寺是明初回族偏将军常遇春北征途中驻昌平时，在仁和乡东道里地方建造，明万历年间重修，建寺时用的木材为修建明十三陵用的木石料，现存的梁柱是寸木寸金的金丝楠木，就是修建明陵用的树种。历史上的清真寺坐西朝东，分为两进院落，在里面除了现有的24间大殿外，还有南北配殿各3间，均带前廊后厦，并有回廊与大殿通连，紧接配殿东山墙是一座垂花门，外院建有南北讲堂各3间，具有前廊后厦的南北水房子各10间，在北讲堂的西房山外建有厨房3间，南讲堂后面建有煤棚和存放“埋体匣子”房3间，由此可见，昌平清真寺的建筑规模之宏大。