钱塘驿，在今浙江省杭州市吴山下。吴山，在浙江杭州市西湖东南面，山体伸入市区。吴山海拔约百米，由紫阳、云居、七宝、峨嵋等山连成。山势起伏，绵亘数里。春秋时为吴国南界，故名吴山（还有一说，以伍子胥的缘故，“伍”讹为“吴”）。吴山还叫胥山，是因吴国大夫伍子胥以忠谏死，浮尸江中，吴人怜之，立祠山上。五代吴越时（一说宋代）山上有城隍庙，亦称城隍山。山上有茗香楼、极目阁等建筑。登阁揽胜，左湖右江，杭州全城尽收眼底。吴山东南端为紫阳山，山石嵯峨，拔地而起。山下有瑞石古洞，洞下有感花岩，上有宋代苏东坡《宝成院赏牡丹诗》的摩崖石刻，历历可辨。宋代书法家米芾手书“第一山”三字，迄今犹存。紫阳山西端石壁上的“吴山第一峰”相传为南宋朱熹手迹。紫阳山通云居山道旁，有吴山十二峰，俗称十二生肖石，名为笔架、香炉、棋盘、象鼻、玉笋、龟息、盘龙、舞鹤、鸣凤、伏虎、剑泉、牛眠，形象逼真颇具意趣。吴山山腰有宋樟一株，据说植于南宋淳佑年间，已有七百多年树龄。

“仙居时复与僧邻，帘卷人间紫翠分。后岭楼台前岭接，上方钟磬下方闻。市声到海迷红雾，花气涨天成彩云。一代繁华如昨日，御街灯花月纷纷。”这是元代诗人萨都剌的《钱塘驿望吴山》诗。