民国17年（1928年）秋，该县始设民众图书馆，图书很少，时开时关。民国27年（1938年）改为民众教育馆，图书工作只是馆务活动的一部分。解放后至1979年初，图书工作在该县文化馆内设组管理，1966年时藏书近万册，但在“文化大革命”中几乎全部流失。

1976年3月6 日，省文化局批准成立攸县图书馆，同年国庆节正式对外开放。当时仅有图书4600余册，工作人员3人。1979年10月，该县县委将原县展览馆房子划归该馆使用，至此，该馆有了正式的办公服务场所。1984年后该馆工作人员也从原来4人增至5人，并设采编、外借、报刊阅览、少儿阅览、农村辅导等五个服务窗口，年接待读者达2万人次。次年3月，在各级领导支持下，动工兴建新馆舍。1989年6月新馆竣工并对外开放，馆舍总面积达2326平方米。

近几年来，该馆逐步调整服务项目，馆内开设了小说外借、综合外借、地方文献工具书阅览（科技阅览）、成人阅览、过刊查阅、少儿阅览、辅导部等七个对外服务窗口。1991年首次参加全省公共图书馆评估定级活动，经验收为合格馆，1994年经文化部批准，该馆被授予国家三级馆荣誉称号。在1998年全国公共图书馆第二次评估定级活动中，该馆荣升为“国家二级图书馆”。