绩溪在历史上属徽州府，这个县虽然不大，却出过不少名人，尤其以胡姓为多。如北宋名臣胡舜陟、南宋文学家胡仔、明朝户部尚书胡富和兵部尚书胡宗宪、清代徽墨名家胡开文和红顶商人胡雪岩、近现代著名学者胡铁花和胡适等都出自绩溪的胡氏家族。绩溪县是全国胡姓最重要的聚居地之一，在这里，胡姓被公认为是家族最大、人数最多的姓氏(约占全县总人口的15%)。在安徽绩溪一带居留下来的胡氏族人，慢慢分成四个支脉，被称为“绩溪四胡”，即“龙川胡”、“金紫胡”、“遵义胡”和“明经胡”。

龙川胡

金紫胡

遵义胡

明经胡

龙川胡

龙川胡氏始祖胡焱作为散骑常侍兼中领军，随晋元帝南下镇守安徽歙州(后改为徽州），并于公元337年，娶了华阳镇(今绩溪县城)的汪氏为妻。婚后不久，胡焱来到华阳镇东部约10公里的龙川游玩，发现这里“东耸龙峰，西峙凤冠，南则天马奔腾而上，北则长溪(登源河)蜿蜒而来”。胡焱觉得这里山水清丽，是块不可多得的风水宝地，于是举家迁到这里，定居下来。古徽州建筑讲究“得水为上”，龙川依登源河而建，整个村子像一艘停靠在岸边的大船。龙川胡氏人才辈出，是著名的“进士村”，这里仅宋、明、清三个朝代就出了11位进士。其中，最著名的是明朝户部尚书胡富，兵部尚书、抗倭名将胡宗宪，以及都御史巡抚辽东的胡宗明等。村内现保存有为胡富和胡宗宪建的奕世尚书坊，是徽派石雕的精品，距今已有400多年的历史。

金紫胡

在绩溪县城东街，有片胡姓住宅区，称“金紫胡"，因宋代名臣胡舜陟获封金紫光禄大夫而得名。胡舜陟与抗金英雄岳飞是好友。岳飞当年在绩溪曾拜访过他，并有诗书往来。岳飞因“莫须有”罪而下狱，胡舜陟上书为岳飞鸣冤，两次弹劾秦桧，最终也被秦桧所害。“金紫胡氏子孙十分注重诗书礼仪，到了清代，‘金紫胡’更是人才济济。”一位金紫胡嫡系后人，说起金紫胡氏，如数家珍。“我们金紫胡氏，一向崇尚礼学，它也是徽学最重要的组成部分。” 金紫胡氏在清朝的三位名人胡匡衷、胡秉虔、胡培翚，被称为“礼学三胡”。

遵义胡

“遵义胡”因住在绩溪城内遵义坊而得名，是明代工部尚书胡松的后裔，所以又叫“尚书胡”。“遵义胡”的一世祖胡松，是个嫉恶如仇的人。24岁的他中进士，八年之后，官居御史，负责大明王朝的反腐政务。不久被贬。后又晋升为工部尚书。他办事依然保持以前刚正不阿的作风，得罪了权臣严嵩，多受排挤，最后不得不告病返乡。返乡后，胡松在绩溪兴修堤坝，消除水患，深受百姓爱戴。但自胡松之后，遵义胡氏子孙鲜有名人出现。

明经胡

“明经胡”又称“李改胡”，其起源颇为传奇。当年，唐昭宗李晔因避朱温叛乱，被迫由长安迁都洛阳。他自知此去东都必死无疑，并将遭灭族之灾。便和皇后商量，将襁褓中的第十子，托付给近侍婺源人胡三公，速速逃匿。果然，同年仲秋，朱温在洛阳指使属下追杀了李晔，又将其9个儿子缢死。胡三公很快逃回家乡徽州，住了下来。胡三公作为义父，精心抚养李氏皇家最后一丝血脉。为安全起见，他将“皇子"弃李姓改胡姓，并取名胡昌翼，后胡昌翼参加科考，得明经科进士。但胡昌翼知道身世后，决定再不踏进官场一步。他从此隐居，闭门专事经学研究，注有《周易专注》，人称“明经公"。 明经胡氏后人中，为官者少，大多以做学问和经商著称。最为知名者当数红顶商人胡雪岩、文化名人胡开文和胡适等。