隋朝以前，本来没有兰州这一名称。据史书记载：汉昭帝始元六年（公元前81年），以边寨阔远、取天水、陇西、张掖郡各二县，置金城郡（后增至十三县），治所允吾（音铅牙，在今市辖区内）。隋开皇初，置兰州总管府，至此，兰州之名，始见于史册。大业初，府废，改为金城郡。从此，人们就把金城、兰州并称了。

关于取名金城之义，《汉书·地理志·注》应勋曰：初筑城得金，故曰金城；臣瓒曰：称金，取其坚也；师古曰：以郡在京师之西，故谓金城，金，西方之行。这三种解释，以瓒说于义较胜。“筑城得金”，可能有其事；然而以金名城，未必取义于此。因为历代帝王于一城一地之命名，无不寄托边防巩固、内部安定、立万世基业的希望。所以，“称金，取其坚也”，该也是对的。贾谊《过秦论》“金城千里”，《汉书·荆同传》“金城汤池，不可攻也”，都是用来喻城之坚固的。何况，金城砺山带河，形势险要，东接陇原，西控阳关，南临巴蜀，北砺朔方，乃当时的西陲重镇，名曰金城，自是合情合理。