《四耕堂》是乾隆皇帝为了表彰纪晓岚编纂《四库全书》笔耕有功，亲赐纪家堂名《四耕堂》。纪氏后代都视《四耕堂》为荣。据《四耕堂》族谱查证。纪晓岚的第四玄代孙纪云青曾任苏、浙、赣三省粮台，为官清廉，深受百姓爱戴。纪云青生九子，以五子纪少卿学术见长。纪少卿在同治年间曾任山西省稷山县典史，与妾生一子名纪稷山，纪氏此一脉以后留在山西。后来黄河泛滥，纪少卿因才识出众，被清廷提升为河南省格尔厅（满语，即今水利厅）厅长。治黄工程结束后，纪少卿辞官回苏州老家过起了田园生活。

差不多清朝道光年间，纪氏后人迁徙至苏州一带，开始出现医者，延用四耕堂的堂号，后来又迁徙到江苏泰州地区，期间四耕堂纪氏通过开设书店广泛收集了医术，又和中医世家江夏堂黄氏（现在黄氏响声丸就是黄家的）、中医世家钱氏（御医钱世升后人）不断联姻，这时期纪氏医术达到最鼎盛，后因为战乱，此支纪氏后人开始衍散，只有少部分人仍继承纪氏中医。