清 山东嘉祥人，为楚北令，缘事谪戍，流寓浙江永嘉（今温州）。工书及篆刻，善人物、花鸟，粗笔焦墨，别饶逸致。

曾衍东生于清乾隆十五年(1750年)，字青瞻，一字七如，号七如居士、七道士，祖籍山东嘉祥，为曾子第67代孙。清乾隆壬子(1792年)举人。据嘉祥《曾氏祖谱》记载，其祖上在明代嘉靖十八年(1539年)被封为翰林院五经博士，并从此世袭爵位。曾衍东的父亲名尚渭，是个恩贡生，游宦江南，曾官居广东博罗县令。曾衍东自幼随父游走南北，童年的经历奠定了其开阔的胸襟，同时也开启了他坎坷飘荡的一生。 他仕途坎坷，直至50岁迟暮之年由人举荐，才得任湖北江夏县令，后调任巴东县令。曾衍东个性清高、倔强。他曾在《日长随笔》里写道：“人所不能做的，我偏要做去，人所不能减的，我偏要减去。”依这种性格，他在中国官场的遭遇可想而知。63岁那年，因断案而触怒巡抚，而他坚持“此官可去案不移”，终被降罪罢官，流放温州。

曾衍东携家小流放温州后，先住在同姓旧宦曾儒璋后人曾立亭的家中。曾立亭居温州郡西，其宅名“依绿园”。他念同姓之谊，款接曾衍东居园之“入画楼”。第二年曾衍东在园边宝庵桥附近一大榕树下自建房屋。这里面向九山湖，湖光山色正好，于是他把自己的居所命名“小西湖”。并在门上写了一副对联：“挂冠自昔曾骑虎，闭户于今好画龙。