潘永思，贤妃叔父也。妃初进封，诏以梁师成第赐永思。建炎初，为阁门宣赞舍人、带御器械。元祐太后在虔，帝遣永思迎归，权三省、枢密事。卢益颇与之交结，为谏官吴表臣所论，范宗尹请出永思，帝曰：“未可，姑罢禄以困之，庶知悔过。”遂夺职。既而辛企宗言永思尝捕魔贼有功，复为带御器械。

未几，大理推治伪告，事连永思，帝曰：“永思虽戚里，既有过，安可废法！”乃罢职就逮。狱成，追一官。寻复为阁门宣赞舍人，迁同知阁门事。永思乞增给食钱，户部言其不应格法，乃止。绍兴八年，自右武郎擢右武大夫、知阁门事，寻卒。