联魁任巡抚时，把新疆课吏馆改设成为法政学堂。新疆课吏馆由署理新疆巡抚吴引荪在光绪三十二年创办。光绪三十二年春，联魁和新疆布政使王树楠、提学使杜彤、镇迪道兼按察使衔荣霈、法政学堂监督候补道杨增新等会商，认为“学堂之设原以造就人才，而仕途需才较诸学界为尤急。新疆统辖诸部，接壤强邻，亟应陶铸吏才，以备内政外交之用”，决定把课吏馆改为法政学堂，就原有房舍添建讲堂、厅室，通计新旧房屋120余间。学堂暂定学额内班40人，专收候补人员，外班20人，兼收官绅。聘请法政专科毕业的日本和中国教习各1员，警察专科毕业的中国教习1员。中国法律、历史、地理、算学、教育、伦理等科教习，在本省官绅内选派。考虑到新疆南部维吾尔族人居多，地方官不通维吾尔文，难免隔阂，又加派维吾尔文教习1员。所有课程规则均按直隶奏定章程办理。学员两年毕业，考列一等的委署优缺，二等的委署简缺，三等的分别差委，不及格的留学，不服管理、不堪造就的退回原籍。该学堂于同年五月二十日录取学生，七月初一正式开学。

宣统二年，法政学堂重招新班，并整顿规则，又延请京师法政专科教习3员，教育效果比以前稍有进步。