吕文显，临海人也。初为宋孝武斋干直长。升明初为太祖录尚书省事，累位至殿中侍御史，羽林监，带兰陵丞、令，龙骧将军，秣陵令。封刘阳县男。永明元年，除宁朔将军，中书通事舍人，本官如故。

文显治事以刻核被知。三年，带南清河太守。与茹法亮等迭出入为舍人。并见亲幸。四方饷遗，岁各数百万，并造大宅，聚山开池。五年，为建康令，转长水校尉，历带南泰山、南谯太守，寻为司徒中兵参军，淮南太守，直舍人省。累迁左中郎将，南东莞太守，右军将军。高宗辅政，以文显守少府，见任使。历建武、永元之世，尚书右丞，少府卿。卒。