前身是清远县图书馆，创办于1956年，旧馆馆址设在清城区学宫街左一巷八座，馆内建筑面积1511平方米。1988年，清远撤县建市，清远县图书馆便直接由县级馆升级为市级馆。全馆现有工作人员18人（市图书馆13人，市少儿馆5人），馆长1名、副馆长2名。其中本科学历2人，大、中专以上学历13人；中级职称3人，初级职称9人。业务架构设五部一室：借阅部、采编部、辅导部、信息部、广告技术部和办公室。

建馆以来，图书馆一直遵循“读者至上，服务第一”的宗旨，以开拓进取、务实提高的精神为准则，将社会效益放在首位，不断完善办馆条件，提高办馆水平，为清远市的文化建设做出了应有的贡献。2003年随着图书业务的不断发展，图书馆在市委、市政府的重视和支持下，在新城银泉路建起了一栋新的图书、博物综合大楼，面积为3000平方米，主服务区设在四楼、五楼，内设: 多媒体电子阅览室、综合外借室、报刊借阅室、少儿借阅室、培训室、工具书阅览室、展览厅等。旧图书馆经市政府批准改建为市少儿图书馆，同时亦作为市图书馆一个分馆继续对读者开放。目前，馆内（新、旧馆）已实行全开架借阅服务方式，文献的采访、分编、检索、流通以及期刊管理等实现了电子计算机管理。“立足阵地，开展便民利民服务”是图书馆的主要服务方式。多年来图书馆根据本地区的实际情况，利用流动书箱，通过开展“送书下乡”等读书活动，将书送到部队、学校、幼儿园和偏远地区，以满足人民日益增长的阅读需要。

在改善办馆条件，提高业务管理水平方面：1999年馆内建立了局域网，是清远地区最早实行电脑化管理的图书馆；2004年新馆建成后，添置了175万元设备和新书；2005年建起了多媒体电子阅览室，内设50台电脑，电教室一间，读者可通过互联网实现文献信息共享，也可以通过登陆图书馆网站来查阅和预约图书。

作为一个地区的文化中心，清远市图书馆随着市“三化一园”战略的高速发展，也在发展中不断探索、成长、完善、创新。