辰溪县在1929年12月于县城奎星阁设立民众图书馆，购置各类图书2700余册，开办图书借阅业务。1937年图书馆并入民众教育馆，增订杂志多种。1939年因日机空袭频繁，暂停借阅，迁址于县城观音洞旁中正堂。1946年5月迁回原址开放，藏书增至3300余册，并实行全天开放。

1951年县文化馆接管民众教育馆图书阅览室，增购新书继续开放借阅。 1961年图书室从县文化馆析出，成立图书馆，1964年又并入文化馆。“文化大革命”时期，图书全部封存，只开放报刊阅览室。1983年10月，该县图书馆正式成立。

在上级领导的关怀支持下，在新城修建了1400平方米的馆舍，于1991年正式投人使用。目前，该馆共有工作人员11人，其中大专学历5人，助理馆员4人；各种藏书60000余册；现开设有外借、阅览、咨询、采编、业务辅导等6个服务窗口。