哈尔滨市团校的前身是1947年5月成立的哈尔滨青年干部学校(简称青干校)，这是市委、中共东北局青委在东北创建的第一所培养青年干部的学校，校长蒋南翔。学员来自全市大、中学校学生和各区政府、县政府介绍的民青盟员，附近各县青年学生等。青干校举办了3期，培训学员750余人。

1948年11月5日青干校迁到沈阳，改名东北青干校。原青干校的干部一部分随校到沈阳，一部分留在哈尔滨市继续从事团的工作。1949年2月，团市委又创办了哈尔滨市青年夜校(后改称青年职业学校)，校长陈模，共办两期，同年10月结束。1950年1月，经市委批准，团市委成立干训班。培训对象是基层团干部和青年积极分子。共举办10余期，培训755人，青干校、青年夜校、干训班地址均设在道里地段街175号(今市建委办公楼东侧)。1954年为加强对日益壮大的新团干部队伍的培训，经市委批准于5月4日成立了哈尔滨市团校。校址在道外区景阳街129号大院一栋3层楼(今道外区委党校)。建校初期，编制15人，设教育科、校务科。1958年，根据团省委和市委的要求，团校开始向正规化培训方向发展，编制增至18人，逐步加强了教学力量。1966年"文化大革命"开始后，市团校停办。1973年市团校恢复，借用青年宫西侧楼办学。1981年在王化成市长的支持下，经有关部门批准，在太阳岛游览街11号投资30万元新建市团校校舍。1983年竣工，占地面积985平方米，建筑面积1255.79平方米。设办公室、教室、资料室、学员宿舍、食堂等20几个房间。同时可容纳80名学员学习和食宿。1986年12月，团校被批准为处级行政事业单位?每年由地方财政拨款，编制增至40人。工作机构设有办公室、青年工作理论教研室、基础理论教研室、青运史研究室、教务科、总务科。　1995年在市领导有关部门大力支持下，拨款120余万元对校舍进行扩建改造，增添设备，建筑面积1750平方米。到2002年，设有研究室、培训部、办公室、行政科、继续教育科5个部门，共有在职员工31人，其中教师16人， 讲师2人，副高级职称6人，高级政工师2人。

目前，在校长胡齐齐的领导下，全校全体教职员工高举邓小平理论伟大旗帜，认真实践“三个代表”重要思想，贯彻落实党的十六大精神，为全面建设小康社会的奋斗目标而努力奋斗！