洗耳方池的遗址，在巢县城东门。据《巢县志》记载：尧欲召许由为九州长，许不就，心不欲，恶其话污耳，用池水洗之。适逢巢父牵牛而来，巢父问明其故，说：洗耳将污及池水，不能饮牛。说毕，遂牵牛而去。后人即将此池称为洗耳池。

明万历丁丑年(1577年) ，知县陈经言用秋瓦石将此池修为方池，故后称洗耳方池：在方池后空地上构瓦屋数间，命名塔影寺。洗耳池遗址虽存，但碑记已失。

另据《高士传》记载：“尧让天下与许由，许由不受而逃去。于是遁耕于中岳颍水之阳，箕山之下。尧又召为九洲长，由不欲，闻之洗耳于颍水之滨。时其友巢父牵犊欲饮之，见由洗耳，问其故，由以告，巢父曰：‘子若处高岸深谷，谁能见子？子故浮游，欲求名声，污吾犊口。’牵犊上流饮之。”这一记载与县志所记内容相似，但地址不符。《巢县志》据此特加了按语：“许由洗耳颍水，隐于箕山，疑不在此地。然古以巢许并称，巢父当许由洗耳时，责其浮游于世，以求名誉，而父实巢人，必不游颍滨矣，大抵先贤遗迹，无容湮没，姑两存之可也。”

另据雍正《巢县志》记载：“巢许隐居卧牛山”，城故有洗耳池和牵牛巷、二贤祠等古迹遗址。