紫阳渡，一名横江渡，俗云桥江晚渡，原武冈州十景之一。位于隆回县城西约三公里之紫河、横江两村境内，昔为宝庆通往武冈的交通要道。清道光《宝庆府志》载：“州（武冈）东北一百二十七里皆通府官路。渡口有摩崖‘横江’二字。”《武冈州志》金石卷载：“‘横江’二字在紫阳渡。” 历代文人学士对此多有吟咏，清陈大虞诗云：“紫阳亭上夕阳笛，极目烟云取次收。远树摇光衔半岭，高楼倒影入中流。霞蒸槛外红成绮，浪涌江心碧似油。我正联吟闲坐好，一轮明月又当头。”把横江古渡的风光美景作了真实写照。“树影横江鱼跃枝头鸟踏浪”是一秀才赴京赶考，路经此地，触景生情，道出一上联，但下联无法对出，叹息而去。后吸引许多文人墨客来此对仗，虽偶有配对，却不尽人意，而未被流传。

今日横江古渡，虽无往日人来人往，热闹非凡之场面，但仍是当地群众往来赧水两岸（资江上游）必经之地。渡头石壁上刻有“横江”二字，下距常年水位高约3米，每字0.5米见方，楷书阴刻，苍劲清晰。其下方10米处的岩石上竖刻着两行文字，内容为：“洪水公渡，分文不取”，“黄水牛洪水不许上船”，就是古时候的渡口公约，楷书阴刻，仍然清晰可辨。下游约五十米处的“石室”二字更是一目了然。石刻刻于何时，何人所刻均无从可考。紫阳亭虽历经沧桑，但至今仍保存在渡口两岸，东岸的紫阳巡检署、紫阳关及紫阳公馆遗址犹存。

1998年4月，紫阳渡由隆回县人民政府公布为县级文物保护单位。