清末以来，该县的文人以收藏图书为乐为荣，如收藏家游艺、伍行敦各收藏图书上千册。民国20年（1931年）始建民众图书馆，馆藏图书有原沱江书院移交的《四库全书》、《万有文库》等数千册以及《江华县志》同治刻版一套487张。民国27年（1938年）改名为民众教育馆，并对外开放借阅。1950年该县文化馆成立，图书工作在馆内设组管理。至1965年藏书达5千余册。“文化大革命”期间，图书室受到冲击被封闭，珍贵的县志木刻本作为“四旧”被焚毁，大量图书遭遗失和虫蛀。至1972年才恢复工作并对外开展图书借阅活动。 1984年省文化厅批准建馆，定编6人，核拨经费独立核算，据1989年统计资料，馆藏图书古籍约3400余册，现代图书1200余册，报刊880余册。1992年在省、市、县各级领导的支持下，共投资48万兴建图书综合大楼1栋，1995年12月新馆竣工并正式对外开放，馆舍面积1560平方米。 近几年来，该馆在业务项目、服务范围等方面逐步作了调整。馆内开设了综合外借、综合阅览、少儿辅导、过刊查询、地方文献、科普查阅及工具书查阅等七个对外服务窗口。拥有藏书量达4万余册，持证读者1000余人。1998年参加全国公共图书馆评估活动，被评为“国家三级图书馆”。该馆现有职工8名，其中大专以上学历4名，中专以上学历4名，人员结构以知识化、年轻化为主。1995年5月，该馆全体职工统一了职业着装，正式挂牌上岗，并设立了读者监督台、意见箱，广泛听取读者的意见和建议。