五芳翁祠建于清朝道光年间。取屋主五兄弟洪芳、居芳、满芳、泮芳、润芳而得名，当时五兄弟中有三位考取功名做了官。该屋两栋一寝，有天井7个，花门花窗完整，精致典雅。雕花木托、天棚起拱、木雕雀替、海老虹梁工艺精湛，古画门神栩栩如生。