1934年茶陵县建恢公图书馆，是因当时国民党二十八军驻军茶陵，县内士绅为奉迎其军长刘建绪（字恢先），图书馆遂以其字命名。1936年，茶陵县民众教育馆成立，图书馆并人民教馆。1944年，日寇陷茶城，图书馆一度关闭。1945年恢复开馆。1949年8月，茶陵县人民政府接管县民教馆，改为茶陵县人民文化馆，图书馆为文化馆内设单位。1958年，图书馆从文化馆内分出，成立茶陵县图书馆。1959年仍并入文化馆。1967—1971年，因“文化大革命”的冲击，县文化馆的图书室关闭。1972年恢复借阅业务。1978年，县图书馆单独设立，为县文教局的下设事业单位（文化局成立后，归属文化局）。