栗木村位于祁门县西路,牯牛降山脚,这里山清水秀,人杰地灵.

栗木又称栗里，因村围多栗树而名。王氏始祖迁到栗木还有段故事。栗木的王氏原来居住在江桐源，这里本来是块风水宝地。男人在外为官经商，兴旺发达，只是妇女在家思夫心切，让风生先生给点破，于是为官不顺，经商不发，男人纷纷回家，以致村落衰败。一年秋收，族长正在晒谷，一阵龙卷风把他家一筐稻谷卷走了。人们第二天才在一里以外的眠牛坦找到，稻谷一粒不少装在箩筐里。族长一看，心想可能是先祖给我们重新选定的阳基，于是他让人栽了一株银杏树，若能活了，就在此建村。到了第二年春，银杏报芽发枝，族长便带着人们迁居下来。

为了牵制这头“牛”的风水，们人在村东砌了一条80米长的石畔，又在石畔前砌了一座6米见方，高2.5米的石礅，喻意80米的村堘比作牛索，2.5米高的石礅比作牛桩，拴住这头宝牛。日久天长这村堘栽满各种树木，形成了一道水口，遮天挡地，将栗木围住。

栗木目前是一个自然村,保留有目连戏演出,还有戏服五大箱,村中有三座古祠堂,历史悠久,有一定的文底蕴.