1930年，安乡县教育局设立图书馆，当时馆藏量仅三千余册，定编2人。1939年，图书馆并入民众教育馆。1949年7月，安乡和平解放，民众教育馆改名安乡县文化馆，馆设图书室。从1949年至1956年，室藏书量由原民众馆的2千余册增至2万5千册，读者服务工作有很大发展。“文化大革命”中馆藏图书被当作“封、资、修”的黑货烧毁、禁烟，其中5千多册古籍，幸蒙馆内干部特藏保护，才免于一炬。1978年7月，经安乡县委呈报省文化局批准，独立建制，成立安乡县图书馆。建馆之初，没有馆舍，借文化馆约70多平方米的五间房屋，作为藏书室和外借室，开展借阅书刊等活动。1980年始建新馆，2层12间，建筑面积350平方米，1981年竣工，向社会开放，该馆建了新馆后，图书馆事业迅速发展。至1987年，馆藏图书达7万余册，为1978年建馆时的3 W多；发放借书证3500个（其中成人2081人，少年儿童1419人），年均借阅书刊54672册次。自1981年5月开办少年儿童阅览室以来，由于开展优质服务取得成果，被评为全省少年儿童阅览先进单位和市阅读工作先进单位。为适应图书馆事业发展，1987年元月，县政府决定再建新馆舍。1991年元月八日新馆开始向社会开放。