鲁效祖，字绳伯，清末诸生，祖籍临夏北塬大鲁家，其排行老二，有兄弟筱舆、筱连、筱贤三人。鲁氏先祖自清末以来耕读传家，保持着书香门第的家风。

杨增新为河州知州时，在河州时曾创办河州书院，金树仁、鲁效祖就在此书院中读书，后入甘肃文高等学堂读书，受“五四”爱国运动的影响，参加过由临夏籍进步青年胡廷珍领导的“法政学潮”——兰州法政学校学生抗议校方停发学生助学金。

鲁效祖在甘肃文高等学堂卒业后，随杨增新赴新疆， 1919 年 8 月，布尔津县设治，委任鲁效祖为县治委员。翌年，任命鲁效祖为县知事。

1921年白俄窜犯阿山，阿山道尹周务学军力不支自杀殉职，布尔津县知事鲁效祖败走，收复阿山后任阿山道尹，到金树仁掌权时，任新疆省政府秘书长，为金奔走于南京，期间曾任东路剿匪司令出兵镇压哈密王的叛乱，因鲁效祖与金树仁之弟金树信不合，没有收到必要的给养，致使东征失利，退守奇台。金树仁随调伊犁屯垦使张培元接任鲁效祖之职。后任高等法院院长及驻苏公使等职。

1929秋，新疆省主席金树仁派其秘书长鲁效祖到沪、宁延揽军事人才。盛世才通过朋友结识了鲁效祖。1930年底，在鲁效祖的极力推荐下，盛世才辞去了参谋本部的科长职务，举家北迁，来到新疆。

盛世才与金树仁既无同乡之情又无裙带之谊，且金树仁对南京参谋本部的军官素怀戒心，因此盛世才的处境颇为尴尬，弄得鲁效祖亦觉脸上无光，不得不多方周旋。碍于情面，金树仁只任盛世才为督军中校参谋、上校参谋主任等闲职。

盛世才主政后，曾任新疆省农牧厅厅长，后被盛世才投入大牢七年，出狱后双目失明，1946年尚在新疆，解放后返乡聊生直至病故。