民国期间，该县有4个图书馆，属县教育局领导，后又发展为9个各类图书馆，总藏书量不到1万册。1965年设县图书馆，藏书5万余册，借用县文化馆场地开展借阅活动。1972年并入县文化馆。1974年与文化馆分开，当时有藏书8万册，工作人员5人，并设有采编、外借、阅览、农村辅导等4个服务窗口，全天对外开放。1995年，该县新建县城，县政府批准将旧馆舍作价转让，并着手筹建新馆。1996年，图书馆搬入新县城，由县文化局安排在该局门面3间房内活动，辟有外借、阅览等服务窗口。新馆正在筹建之中。

多年来，该馆除搞好阵地工作外，还与各乡、镇文化站配合。开展农村图书巡回借阅及读书读报活动，1986年至1988年，组织“红领巾”读书读报活动，参加该活动人数达60000余人次，有10多人获得省、市、县的奖励。1989年，持有县图书馆集体借书证的单位有40多个，持县馆借书证的农村读者1150人，并建有少儿图书服务中心26个，且大部分村、校都建立了图书室，有10多所学校还在校内各班建立了班级图书角。同时还在全县辅导和帮助建立了120多个图书户，后又在全省率先建立科技图书示范户75户。这些科技图书示范户大都是靠图书资科提供科技致富信息先富起来的农民的典型，同时带动大多数农民脱贫致富，效果很好。这期间，县图书馆被评为全省先进单位，该县高塘乡被评为全国图书馆、室先进单位，图书户李中笑被评为全国新长征突击手，受到胡锦涛等党和国家领导人的接见。