矢泷城迹位于银山栅内西南2.5km处，16世纪时，利用海拔638m的山顶位置修建的山城遗址。矢泷城于1528年由掌管银山的武将大内义兴下令修筑，由南北两个城郭组成。北侧有石见银山街道温泉津冲泊道通过的降路坂，再往前则有矢筈城遗址，是为了防守石见银山而选取的军事要冲。据文件记载，1531年当地领主小笠原氏夺下该城，成为银山的统治者。

2002年，与争夺银山的要地矢筈城迹和石见城迹一同被定为国家指定史迹。