明洪武年间始建。清代重建，建筑面积274平方米，原为时任观察使许天相之府第。后改为许氏支祠，天相为遗腹子，其母笃志守节，不曾跨家门一步，茹苦含辛，抚育天相成人，故又称“墙里门”。1997年，其裔孙许靖华院士（现定居瑞士）捐资1万美金，由县政府修缮并辟为“许村历史博物馆”。