大学士第位于余姚泗门镇万安桥西北、状元楼前，有前后两进及东西两边侧屋，中间一个天井，夭井偏东有一口古井。整座建筑东西横阔14.2米，南北两进通深23.3米。

大学士第东邻阁老府第，南邻成之、人和庄园，西邻大方伯第，北邻状元楼。四邻壮观的明清代古建筑群，全属谢氏一门。

大学士第，是明代状元谢迁祖父的遗业，亦是谢迁幼年生活的老宅。据 《 谢氏二房谱 》 载，谢迁的祖父名谢莹，字怀玉，号直，明代宣德五年（ 1430 ）任本省布政司，因他平贼有功，连续晋升二级，赐光禄大夫、柱国少傅兼太子太傅、礼部尚书、武英殿大学士。

大学士第距今已有五百多年的历史，房屋完好，只是部分门窗有所改动，大门上“大学士第”四个大字犹存。如今里面住着谢迁的第十三代孙和第十四代孙四户人家。