余少玉于1927年5月诞生在仙游县度尾镇一个书香世家的家庭里，她的父亲余震（1902-1972年）是上世纪初中叶闽省知名教育工作者。因受家庭浓厚的文化熏陶，少玉6岁时就进了度尾铸德小学读书，以后又先后就读于陶德初中和国立福州大学化学系。大学毕业后在制药厂工作过，1952年调到北京铁道部科学研究院工作，后来担任该院金化研究所副研究员。

生长在木兰溪畔书香世家的余少玉，自幼深受家庭浓厚文化的熏陶，勤奋苦读，学有专长，在中国焊条涂料工业等领域上独有建树。早在1956年，由她主持研究成功的传真电报纸，并投入运用，改写了我国一向靠外国进口传真电报纸的历史。不仅如此，她还于1957年主持研究成功铁研350和铁研300耐磨合金新焊条，新焊条在硬度和韧性以及堆焊工艺方面都超过了当时居领先地位的苏联焊条，使用寿命提高了3至10倍；1958年，她和同事们协作主持研究成功无缝线路（铝热焊接钢轨）用的铝热焊剂，其质量可与外国媲美，填补了空白；1966年主持研究成功长效耐候桥梁配套漆，用于南京、武汉长江大桥涂装，经15年后，漆膜完好无损，使我国桥梁配套漆进入世界先进行列。

认识余少玉的那天，是2006年5月26日，她和胞弟余汶、余涛等家人在鼓乐和鲜花的欢迎氛围中，走进阔别已半个世纪的仙游县度尾中学，寻踪他们童年时代的记忆。