沪溪县图书馆是1976年11月从县文化馆分离出来的。原名“庐溪县文化馆图书室”，现名“沪溪县图书馆”。建馆后，由于没有馆舍，一直借用县文化馆原图书室83平方米的一间平房作为藏书用地，当时接收县文化馆图书室的藏书一万余册。

县文化馆图书室的前身是民国末年的“民众图书馆”。民国38年（1949年）春，由于湘西“三·二事变”大动荡，民众图书馆的几千册图书几乎损失殆尽，仅残留一套《万有文库》。解放后，文化馆图书室配专人管理，每年添置数百册图书，至1966年已近一万余册。“文革”中，藏书再次全部散失。“文革”后，又陆续购买了一些马、恩、列、斯、毛泽东的著作等少量的图书，所以到1976年建立图书馆时，藏书仍然只有万余册。1984年，为了解决沪溪县长期没有图书馆馆舍的落后现状，由省、州、县共投资17万元在沪溪县南正街新建一座占地6亩，建筑面积1200平方米的图书馆馆舍。新馆于1987年1月1日落成，并正式对读者开放。

该馆设报刊阅览室、少年儿童阅览室、讲座室。书库分为基藏、辅助两个库。拥有阅览座席100个，书架总长度1500米。主要设备有：打字机一台，彩印机一台，电脑设备一套，音像设备一套。

该馆机构设置有采编组、咨询组、辅导组和办公室。工作人员8人（4男4女），其中具有大专文化的3人，中专1人，高中4人;中级职称2人，助理馆员2人，管理员1人。

该馆总藏书量10万余册，其中中文图书6万余册，报刊资料3万余册，年购书经费5000元。各类书刊比例为：社科60%；自科22%；综合类18%。特藏有《沪溪县志》、《沪溪文集》、《苗族屯录》等文献资料。

该馆设有公务目录2套（分类目录、书名目录）、读者目录2套（分类目录、书名目录）。使用《中国图书馆图书分类法》。服务项目有外借、咨询、打字彩印以及馆外流动借阅等。借阅方式实行开闭架相结合。同时，结合读书辅导，开展书评、读者座谈、征文演讲等活动。每年定期或不定期地编印各种科技致富信息资料，跟踪服务，定点服务。每年下乡不少于60天，送书赶集，为农村基层建设服务。

1995年，因国家重点工程五强溪电站的需要，该馆随县城移民搬迁至白沙新城。由于搬迁人口多，资金缺口大，且补偿标准低，到目前为止，该馆仍处于新馆筹建之中，预计1999年内破土兴建。按设计规划，新城馆舍的占地面积为十五亩，建筑面积为2500平方米，总投资为200万元。内设借阅大厅、阅览大厅、少儿借阅厅、阅览厅、讲座厅；过刊过报典藏库、基藏书库、辅助书库；地方文献典藏室、电脑学习室、专科阅览室、读者休息室等。