济南古城北门建在大明湖北岸，城内众泉喷涌汇流至素有“天下第一湖”之美誉的大明湖，从北门溢出进入护城河，所以人称北水门。宋代曾巩知齐州时著有《齐州北水门记》，可见宋代就有此称谓了。熙宁五年（公元1072年），曾巩改造北水门,因其旧门，加筑水闸。方便开闭，防止城外洪水入城。

据载，元代在北水门上加盖城楼，后称汇波楼，成为济南一景：汇波晚照。由于北水门特殊的位置和作用，在济南巍峨壮观的古城被彻底破坏后，依然屹立，历代多次重修形成今天的规模。

【齐州北水门记】 宋·曾巩

济南多甘泉，名闻者以十数。其酾而为渠，布道路，民庐官寺无所不至，潺潺分流，如深山长谷之间。其汇而为渠，环城之西北，故北城之下疏为门以泄之。若岁水溢，城之外流潦暴集，则常取荆苇为蔽，纳土于门，以防外水之入，既弗坚完，又劳且费。至是，始以库钱买石，僦民为工，因其故门，累石为两涯，其深八十尺，广三十尺，中置石楗，析为二门，扃皆用木，视水之高下而闭纵之。于是内外之水，禁障宣通，皆得其节，人无后庐，劳费以熄。其用工始于二月庚午，而成于三月丙戌。董役者，供备库副使驻泊都监张如纶，右侍禁兵马监押伸怀德。二人者，欲后之人知作之自吾三人者始也，来请书，故为之书。是时熙宁五年壬子也。太常博士充集贤校理知齐州军事曾巩记。