民国21年（1932），经湖南省教育厅批准，建立桂阳县图书馆，馆长李在和,馆址设中山公园内。民国29（1940年），图书馆并入民众教育馆，馆长肖汝霖，设专职图书管理员1人，馆藏图书3400余册。民国34（1945年）县城遭日军飞机轰炸，馆内图书大部被失。至民国38年（1949年），藏古今图书近万册。

1950年建立桂阳县人民文化馆，接管原民教馆的图书，设立图书阅览室，置管理员1人。“文化大革命”初，2万余册图书全部遭毁。1972年后，才逐年购置，恢复对外借阅。1981年3月，省厅批复同意桂阳县图书馆成立。当年，县财政拨款2万元，配员3人，任命刘咏增为副馆长。1982年，省厅拨款8万元、地局拨款l万元、县财政拨款 23万元，并向社会募资 1.6万元，兴工建馆，馆址设在蓉城路 14号，占地面积 3. 68亩。 1984年，任命谢鼎缙为馆长，编制增至5人。

桂阳县图书馆是在改革洪流中涌现的。初时，除接收文化馆移交图书5400册和几个书架外，基本上是白手起家。1985年，新馆落成，馆舍大楼1654平方米，职工宿舍540平方米。馆内设施逐年添置，至1998年，有钢质书架60台、木质书架45台，总长1800米。书库可藏书约30万册。期刊橱柜20个，可陈列杂志400余种，报架10个，陈列报纸200余种。书桌40张，阅览座椅150条，折叠凳86条，可同时接纳200余人阅读。