本馆原名高雄州立民众教育馆，馆址设于寿山之麓；二次世界大战，馆舍毁于炮火,藏书几悉成灰烬。

民国三十四年，台湾光复后租赁馆舍于鼓山一路，仅有日文书籍四百余册。 三十八年迁至中正四路，更名为高雄市立中山图书馆。

四十三年四月民生二路三十九号新馆落成启用，正式命名为高雄市立图书馆。民国六十八年七月，本市改制院辖市，适奉蒋故总统经国先生昭示：加强文化建设之推动，并以图书馆事业列为文化建设之最优先目标。

由于本市发展迅速、人口递增、读者益众，馆藏量与日俱增，原有馆舍遂感不敷使用，乃奉准将坐落于民生二路八十号新建之民众活动中心全部拨交本馆作为新址，并于七十年八月迁入启用迄今。

八十六年十一月，总馆位于民生二路八十号之大楼因已使用十六年，无法容纳图书资料之成长，故书库、参考室、期刊室及阅报区均已迁移至民生二路三十九号集中使用，并于八十六年十一月三十日重新开放民众利用。

为提升市民读书风气及文化，故普设图书分馆以推广本市书香社会，目前本馆所辖馆舍除总馆外，尚有鼓山、旗津、楠梓、左营、苓雅、三民、新兴、盐埕、前镇、宝珠、南鼓山、翠屏、阳明社区图书馆(与台湾扶轮教育基金会合办)暨调色板儿童玩具图书馆(与高雄市调色板协会合办)等分馆，及新兴、楠梓二个民众阅览室。

原小港分馆于八十六年七月起改隶市立空中大学，纳拨後小港分馆仍维持公共图书馆之功能继续开放对社区民众服务。