鲁班石位于马渡场下游2公里的碑牌河中央，左为百丈崖，右为滑石崖。

乱石丛集，江心一石，中流砥柱，陂、陀、坑、尘，似人之仰跌者，然头、背、肘、指、臀、足等诸态毕具。俗人神之，谓鲁班驱石至此，其徒赵巧恶作剧，学为鸡鸣，班愤而晕倒在河中，冰冻成石。

美丽动人的传说是鲁班和弟子赵巧云游到巴山蜀水，得见马渡山水甲巴蜀，大发慈悲，相约来一场师傅修桥，徒弟造塔的比赛。尚未青出于蓝的赵巧技不如师，便背信弃义，不讲诚信，破坏竞赛规则，导致鲁班功亏一篑，修桥失败。

当年为修桥所备的石料至今仍然紧密地团结在鲁班石周围，期待他早时苏醒，如孙悟空破石而立，横空出世。