公元1087年，北宋设胶西县，第二年又把板桥镇改为胶西县，并在这里设立提举市舶司，为当时金国五处市舶司之一，提举市舶司还兼临海军使。金代，胶西县隶属山东东路密州，境内设三大名镇：张仓镇（在今胶南市张仓村）、染乡镇（在今胶州市良乡村）和陈村镇（在今胶州市大店村）。元初，复设胶州，辖高密、即墨、胶西三县，州治设在胶西县城。到公元1369年，明朝又撤销了胶西县，在其城立胶州署，领高密、即墨二县。两年后，胶州建州署于内城。清代，行政区划沿袭明制，胶州隶属无大的变动。公元1734年，清政府裁灵山卫，将其地并入胶州。1904年，胶州升为直隶州（与府平级），直属山东布政使司，仍辖高密、即墨两县。当时，胶州经济繁荣，文化昌盛，商贾如云，“金胶州”美称远播九州。中华民国时期，1913年裁胶州，设胶县，归山东省胶东道管辖。1925年，改设莱胶道，驻胶县。1927年，莱胶道撤销，胶县又直属山东管辖。抗日战争爆发，战火延至胶州。1938年1月，胶州被日军侵占。此后，中国***领导人民组织地方武装，抗击日本侵略者，在白色恐怖之中几度建立胶州地方抗日民主政权，曾先后隶属于中国***领导的胶东行政区南海专区、滨海行署第一专署、胶东行署、滨北专署等。1947年11月21日，胶城彻底获得解放，国民党残部溃退崂山，胶县民主政府入城办公。此后，胶县县界、区划时有变化，隶属也不稳定。1949年，胶高、胶河两县撤销后，部分地区归并，成为胶州市现行区划。

新中国成立后，1950年5月，滨北专署撤销，设胶州专署，同时设立胶州专署公安处。胶城为胶州地委、专署驻地。1956年4月，撤销胶州专署，胶州改为属昌潍专属。1958年，胶县划归青岛市管辖。1961年，重归昌潍专区。1978年，再度划归青岛市。1987年2月12日，经国务院批准，撤县建市（县级），原胶县行政区划改为胶州市行政区域，由青岛代管。