衡阳县图书馆的前身是县文化馆图书室。1976年11月成立衡阳县图书馆，但文、图两馆仍是“一套班子，两块牌于”。 1979年初，两馆人员开始有明确分工。1980年元旦，图书馆和文化馆正式分家。当时，图书馆有工作人员5人，藏书13457册，阅览座位36个、书架8个、阅览柜3个，阅览室84平方米，书库84平方米。当年预算经费为12万元

衡阳县图书馆现有工作人员24人，其中本科2人，专科6人，中专8人，副研1人，馆员3人，助理技术职务3人，退休3人。馆舍面积188平方米，阅览座位168个，书架单层长度1140米；藏书60426册（含过刊合订本），1998年度订报纸35种56份，杂志84种92份；持证读者5577人，设有外借室、成阅室、咨询室、少儿室、辅导室、农村书库等服务窗口，周开放时间成人部分为 52小时，少儿室为32小时；1998年度经费11.8万元（含追加和创收）。