男，福建泉州人，1931年4月出生。中共党员。1951年2月考入集美水产商船专科学校驾驶专业，1953年并入大连海运学院，1954年2月毕业。在校期间曾担任学生会委员、团支部书记、团总支委员。毕业后按当时规定在上海海运局船上通过对水手、轮机、驾驶等共一年半的实习后，于1955年考取航海驾驶员三副证书，之后先后担任了三副、二副、大副，并多次获得先进生产者称号。1960年任船长。1963年底奉调参与筹建成立上海远洋运输公司，后任船长。1977年12月调任上海远洋运输公司海监室主任，后历任副经理、经理兼党委副书记。1983年6月调任中国远洋运输总公司总经理兼党委书记，1985年6月调交通部任副部长，1992年9月届满离职。1995年9月退休。曾任中国航海学会理事长，中国水上消防协会理事长、中国科学技术协会全委会委员、中国国际贸易促进会特邀顾问。现为中国航海学会名誉理事长。林祖乙毕生奉献于中国航海事业，他回忆说：集美学校优美的环境，“诚毅”校训养育出的朴实、坚忍的校风，对学生在德育、智育成长中产生的潜移默化的影响不可估量。