在常熟市虞山镇学前街。是祭祀言子（孔子弟子）的专用建筑。始建于宋，重建于元，明成化二十二年（1486年）从明伦堂北移建于文庙东，以后经康熙、乾隆、同治等朝代修葺。言子，字子游，孔子三千弟子中唯一的南方人，被列为“七十二贤”之一。他用所学的文学和礼乐，启迪东南文化，起到一定的历史作用，后世称他为“南方夫子”，在孔庙中设十哲牌位陪祀，言子名列第九。

现祠内保存的正殿，木质结构部分仍保持元代型制。殿单檐歇山顶，平面正方形，面阔和进深各3间，通长均为10米。殿柱均为金丝楠木制成。殿南金柱间顺梁下面，有“大清同治十一年（1872年），太子太保，武英殿大学士，两江总督部堂，一等毅勇侯曾国藩督修”的字样。