芷江侗族自治县图书馆位于县城烈士巷，馆占地面积1769.41平方米。

民国19年（1930年），县教育局建民众图书馆；民国28年（1939），民众图书馆并入民众教育馆图书室。

新中国成立后，于1951年建立了县文化馆图书室。图书室先后接收民众教育馆藏书1500余册；购置私藏《沅州府志》、《芷江县志》、《十三经注疏》、《二十四史》、《资治通鉴》等线装书7000余册；接收福音堂外文版书籍1000余册。至1958年，县文化馆图书室藏书逾31000余册，向基层赠送图书8箱；同时，先后建成乡镇、学校、工会和农村俱乐部图书室452个，计有图书170000册。“文革”期间，县文化馆图书室和基层图书室书籍大量流失。1982年4月，图书室从文化馆分出，成立县图书馆，在烈士巷新建图书大楼一栋。分设藏书室、报刊室、综合阅览室、少儿阅览室、科技阅览室、借书室、资料采编室、科技咨询宣传室、讲座室、办公室。配工作人员5名。1986年，芷江成立侗族自治县，芷江县图书馆亦更名为芷江侗族自治县图书馆。至1988年，该图书馆有各类藏书42000册。上级年拨经费15000元，并着手辅导基层图书阅览室。目前，该图书馆馆舍建设面积为1278.98平方米。阅览室座席260个，少儿阅览室座席150个，书架总长2310米。藏书量增至56982册，各种报纸期刊698种。配置工作人员8人，其中大专以上学历2人，中专、高中学历6人。