吕文度，会稽人，宋世为细作金银库吏，竹局匠。元徽中为射雉典事，随监莫修宗上郢。世祖镇盆城拒沈攸之，文度仍留伏事，知军队杂役，以此见亲。从还都，为石头城监，仍度东宫。世祖即位，为制局监，位至员外郎，带南濮阳太守。殿内军队及发遣外镇人，悉关之，甚有要势。故世传越州尝缺，上觅一直事人往越州，文度启其所知费延宗合旨，上即以为刺史。永明中，敕亲近不得辄有申荐，人士免官，寒人鞭一百。

上性尊严，吕文显尝在殿侧咳声高，上使茹法亮训诘之，以为不敬，故左右畏威承意，非所隶莫敢有言也。时茹法亮掌杂驱使簿，及宣通密敕；吕文显掌谷帛事；其余舍人无别任。虎贲中郎将潘敞掌监功作。上使造禅灵寺新成，车驾临视，甚悦。敞喜，要吕文显私登寺南门楼，上知之，系敞上方，而出文显为南谯郡，久之乃复。