一行禅师走遍了大半个中国，其中，广东省江门市江海区外海镇的茶庵寺、新会的圭峰山都留下过他的遗迹。西元七○五年，他游历到岭南，喜爱上外海的「五马归槽」山，便在山麓搭起茅庵留了下来。他在此观察天象，绘制星图，以种茶度日，因此所居住的草庐名叫「茶庵」。据说以前，茶庵以外都是水，外海就因此而得名。

茶庵寺自从明朝建成後，先後经过多次重修。现在人们看到的是清代光绪年间大规模修葺之後保留下来的风貌，保存相当完好。寺庙依山而建，掩映在古树丛中，清静幽雅，颇有庭园景致。该寺为两进院落式，占地面积二三四平方米，结构为单檐布瓦琉璃剪边，硬山顶，山墙搁檩。门楣正中刻有「茶菴」两字。有人可能会问：怎么会是「草」字头的「菴」，而不是「广」字头的「庵」呢？其实，这两个字是通假字。「庵」字有两种解释：一是指小茅屋；另一是指比丘尼所住的佛寺，「茶菴寺」的「菴」在这里是取第一种意思。