民国初年，岳阳县教育局设图书馆，收藏各类图书，几经战乱，书籍流散。民国17年（1928）岳阳县城区成立了文化书社，设一阅览室，供人阅览各类进步书刊；民国18年（1929），岳阳县图书馆设县教育局（在今桥西桃花井一带）内，藏书约8000册。第二次国内革命战争期间，岳阳、平江、华容等地苏区，创建以流通革命书刊为主的小型图书馆（室），时称列宁图书馆（室）或红色图书馆（室），后因形势的剧变而消失。

新中国成立后，图书馆事业逐步发展。岳阳市图书馆的前身——岳阳县图书馆于1956年5月在岳阳地区率先成立，馆址设在城关镇圣公会教堂内（即今城西南正街市楼区公安局分局院内）。1958年迁至下观音阁一栋小庭院内，面积约200平方米，有书库、阅览室各一间，藏书l5万册。“文化大革命”中，不少书籍被视作“四旧”而遭焚毁，机构瘫痪，人员相继下放“五·七”干校劳动。1971年元旦，恢复开馆，名为“岳阳县文化宣传站图书室”。1973年，复迁至郭亮街口新建一栋两层楼房，更名为“岳阳县文化馆图书室”，藏书4万册。1976年，岳阳市（县级）与岳阳县分设，始命名为“岳阳市图书馆”，后又经历了两次搬迁。

1985年12月4日，岳阳市人民政府决定在新城区新建馆舍，总投资近300万元。1990年9月27日，举行了隆重的新馆竣工暨开馆典礼，有文化部、省文化厅和岳阳市党、政、军领导与著名岳阳籍画家周令钊等来宾近千人出席，盛况空前。