双牌县图书馆建馆前系县文化馆内设的图书室，当时，仅有60平方米工作房开展阅览和外借业务。1976年3月，经双牌县革命委员会批准，建立双牌县图书馆，隶属于县文化局领导。当时，县里对馆舍作了分配处理，两层办公用房，上层归文化馆所有，下层归图书馆所有，面积由60平方米增至150平方米。由于该房系民房设计，不适应图书馆开展工作，加之年久失修，墙基下沉开裂，墙身倾斜欲倒，1983年，经鉴定为危房。1983年3月一1984年6月，停止外借和阅览业务。

1984年5月，省下达了建筑图书馆馆舍计划。县领导审定，新馆址定于双牌县城关镇（现泷泊镇）万山路5号。1987年10月，新馆落成开馆。工程总造价 23. 3万元，其中省投资 11万，县投资 10 .5万，下欠 1.8万元。馆舍系三层楼房，建筑面积为 1364. 6平方米。内设四层书库，可藏书20万册，5个阅览室，l个外借厅，1个报告厅，7间办公和业务用房。添置书架1720米，阅览桌120张，单人阅览靠椅134张，双人靠椅94张，同时还购置了打字机、照相机、收录机、音响等设备。1993年，县财政拨给3万元，兴建少儿阅览室，1994年竣工，欠债 31241元。通过近几年的努力和上级文化部门的关心，债务已逐渐偿还。

该馆共8人，全年经费4.8万元（其中1万元的购书费）。因近年来工作人员变动较大，一些具有高学历、高职称的均先后调离，现有人员中具有大专学历的1人，助理馆员的2人，其余均具有中专和高中文化。该图书馆在1994年第一次评估定级中，被评定为国家三级图书馆。