潇湘楼位于湖南省祁阳县城浯溪镇祁水（小东江）与湘江交汇处突兀的石山上，因傍古城墙潇湘门而得名。潇湘楼始建于明嘉靖年间，现楼系民国初年重建，为砖木结构中西合璧式建筑，建筑面积一百余平方米。

楼后原存天井，天井中有一井，名绣球井，20世纪70年代填毁。建国前曾为文人墨客聚会之所，1985年回归教委管理，2003年，县委县政府决定将潇湘楼移交县文物部门管理，2009年，祁阳县文物局搬迁至此，现为永州市文物保护单位。