虹饮山房位于严家花园东200米处，是清代乾隆年间苏州近郊著名园林。因为门对香溪，背靠灵岩，“溪山风月之美。池亭花木之胜”远胜过其他园林，所以乾隆皇帝每次下江南游木渎的时候必到虹饮山房，在这里游园、看戏、品茗、吟诗，直到夜色降临，才依依不舍，顺着门前的山塘御道返回灵岩山行宫。因此，虹饮山房在当地又被称为乾隆皇帝的“民间行宫”。

虹饮山房现存许多与乾隆相关的遗迹遗物。山房门前是御码头和御碑亭。乾隆十六年（公元1751年）春天，乾隆首次南巡，御舟经过运河，转胥江，折入香溪，在此舍舟登岸。乾隆喜好游山玩水，舞文弄墨，所到之处，必赋诗题字。当他见到这条山塘古道幽奇古绝，不由诗兴大发，当即口占七律一首。后来，这首七律被当地官员镌刻于碑，置于亭内，与对面的明代怡泉厅两相映照，成为古镇一大景观。

当年，乾隆皇帝住在灵岩山行宫，而那些词臣随扈则住在虹饮山房。据信史记载：刘墉曾二度下榻虹饮山房，与园主人徐士元相交默契，虹饮山房的匾额及花厅内“程子四箴”的横批就是当时刘墉赠给徐士元的。

虹饮山房华厅之内有一把龙椅，是当年乾隆南巡驻跸灵岩山行宫时的圣驾专座。它用千年紫檀精制而成，九条金龙缠绕腾飞，显示出无上的帝王之尊。

园主人徐士元是个落第秀才，一生不慕功名，惟喜居家读书。他还有个嗜酒的癖好，常和朋友在园中诗酒为乐，而且酒量极大，号称“虹饮”。又因宅院毗邻虹桥，“虹所饮者，桥下之香溪也”，虹饮山房之名即由此得来。

虹饮山房虽因乾隆六次幸临而显尊荣，但其本身却是一座江南著名园林，它由秀野园和小隐园两座明代园林联袂而成，中路为门厅、花厅和古戏台，建筑体量宏大宽敞，既有江南文人园林的秀气，又兼具北方皇家园林之大气。于大开大合之间，尽显宦家之气度，幽人之韵致，别出于苏州园林一贯之精致传统，为南北园林不同文化风格巧妙融于一体之典范。