山遐字彦林，为余姚令。时江左初基，法禁宽弛，豪族多挟藏户口，以为私附。

遐绳以峻法，到县八旬，出口万余。县人虞喜以藏户当弃市，遐欲绳喜。诸豪强莫不切齿于遐，言于执事，以喜有高节，不宜屈辱。又以遐辄造县舍，遂陷其罪。

遐与会稽内史何充笺：“乞留百日，穷翦捕逃，退而就罪，无恨也。”充申理，不能得。竟坐免官。后为东阳太守，为政严猛。康帝诏曰：“东阳顷来竟囚，每多入重。岂郡多罪人，将捶楚所求，莫能自固邪！”遐处之自若，郡境肃然。卒于官。