娱山楼为双层四方建筑，高3丈，占地近10亩。土楼后山曾有巨石，其形蜷踞如蟹；石旁有池，波光摇曳似珠，人称“石蟹抱珠”。外墙底部垒以山石，上层用砖叠砌。楼盖粗檐厚瓦，楼板盈寸杉板。有3道木梯可登二楼，现朽蚀几净。可楼上10个房间，保留尚且完好。木柱因基础垫有石珠，故仍坚挺如初。楼下10室，多被打通，用于堆放杂物。大厅及天井周侧，地面潮湿多长青苔，墙壁上的壁画依稀可辨。庭中一眼古井，清浅冰凉，无须桶汲，伸手可舀。