潼南县双江镇上的永绥祠，原系双江“杨三泰”大盐号杨世绥的家祠，始建于清末民初。正屋为三大间砖木结构的平房，中堂为供奉和祭拜先祖的“享堂”，左间为议事厅，右间为客堂。据考，“永绥”祠名的由来，源于《千字文》中的“璇玑悬斡，晦魄环照。指薪修祜，永绥吉劭。”，即“永久安定”之意。然而，这寄望“永久安定”的永绥祠并不安定，在各个历史时期，它经历了沧桑风雨。

二十世纪二十年代，军阀李家钰驻防遂宁、潼南一带，为了广辟财源，私立法令：凡辖区内的一切庙产、祠产一律归公。如此一来，这永绥祠自然也属“归公”之列了。鉴此，双江杨氏族人为免于祠产归公，想出一个“三全”之策———将祠产用来开办一所新学，这一公益举动，既不违反李司令的“法令”，又能保住祠产，同时还能供族中子弟就读新学。于是，民国十五年（公元1926年），永绥小学诞生。

永绥小学建在永绥祠右侧，一楼一底，圆拱方柱。拱柱与屋檐的连接处装饰欧式花纹，颇有几分罗马宫殿的感觉，乡人因此称此建筑为“洋房子”。据说这是杨氏族中留洋归来的人设计修建的，与双江古色古的古镇风貌形成鲜明对比，呈现出双江中西合壁的又一道景观。

永绥小学的第一任校长为杨闇公的大哥杨剑秋。当时开设四个班，学生多为杨氏家族子女。1927年，国民党反动派和军阀们在重庆制造了“三·三一”惨案，革命烈士杨闇公惨遭杀害，事件株连到杨剑秋，永绥小学也由杨伯洲代理。

此后，国民党公开叛变革命，上海的“四·一二”事变、武汉的“七·一五”事变相继发生。此时，作为国民革命军党代表驻武汉特派员杨衡石（杨尚昆的二哥）奉命从武汉撤出，回到老家双江隐蔽待命。杨衡石回乡后，根据组织指示，为了便于开展党的地下工作，接办了永绥小学，任第三任校长。

杨衡石任校长后，一面接纳和聘请了雷晓晖、吴竹君、杨伯炯等一批地下党员作教员，一面加紧与遂宁、安岳、铜梁等邻县的党组织取得联系，当时的永绥小学已成为党的地下联络站。

1928年5月，时任中共四川省委宣传部秘书长的罗世文来到双江，与杨衡石等党员会晤，商议筹建潼南党的组织。月底，经上级批准，在永绥小学秘密召开党员大会，中共潼南第一个党支部正式成立。

鉴于上述特殊历史原因，永绥祠2006年被命名为县级文物保护单位，2010年，永绥小学旧址辟为中共潼南党史陈列馆，永绥祠辟为清明民俗文化展示馆。