秦朝置枹罕县,属陇西郡，治在原罕羌侯邑（今临夏市双城）。

西汉初枹罕县仍属陇西郡。昭帝始元六年（前81），改属金城郡。枹罕县址东移至今新集镇古城村。

东汉建武十二年（36），撤金城郡，枹罕县又改属陇西郡。三国属魏陇西郡。　晋武帝太康二年（281年），废枹罕县，立枹罕护军。

西晋永嘉年中（301-302），枹罕县属晋兴郡。十六国时，前凉张骏太元二十一年（344），分凉州地置河州，河州之名自此始。枹罕属河州兴晋郡，州、郡均治枹罕。县治仍设于今临夏市新集镇古城村。

前秦建元三年（367），枹罕属前秦凉州，为凉州治；建元七年（371），枹罕属河州兴晋郡，为州郡治。

西秦太初二年（389）枹罕属乾归分设之北河州、为北河州治。

后秦弘始二年（400），姚兴攻西秦取枹罕，属河州，州治枹罕，仍归乞伏氏统辖。

西秦更始九年（409），乾归复夺地兴国。西秦炽磐永康元年（412）十月乞伏炽磐自谭郊迁都于枹罕。

乞伏暮末永弘四年（431），被夏攻灭，西秦亡，地归吐谷浑。枹罕县废。

北魏太平真君六年（445），改河州为枹罕镇。北魏太和十六年（492），撤镇复置河州。西魏复置枹罕县，属河州枹罕郡为州、郡治。北周如西魏制，枹罕县仍旧。

隋开皇三年（583）废枹罕县入河州。大业三年（607），河州改枹罕郡，枹罕城为郡治。

唐武德元年（618），平李轨复置枹罕县，为河州治所。天宝元年（742），改河州为安乡郡，枹罕县属之。宝应元年（762）为吐蕃占领。

北宋初，吐蕃王族后裔角厮猡之孙木征据枹罕县和河州。熙宁六年（1073），王韶率宋军收复河州，复置枹罕县，属熙河路。熙宁九年（1076）省枹罕县，县地属河州安乡县。

金天会九年（1131），金取河州地。皇统二年（1142），州治枹罕城。贞元二年（1154）复置枹罕县为河州治。金大定二十七年（1187）枹罕县属临洮路。

蒙古汗国成吉思汗二十一年（1227），蒙古攻占河州。枹罕县属之。

元至元六年（1269）省枹罕县，地属安乡县。明洪武四年（1371），置河州卫，属西安行都卫。