西晋泰始二年（公元266年）析京兆郡南部地于上洛县（今商洛市商州区）置上洛郡，辖上洛、商县二县。北魏太延二年（公元439年）于上洛城置荆州，上洛郡属于荆州。太和十七年（公元493年）改荆州为洛州；上洛郡属洛州。北周宣政元年（公元578年）洛州改名商州。上洛郡属商州。隋开皇三年（583），废上洛郡。隋大业三年（公元607年）改商州为上洛郡。唐武德元年（公元618年）改上洛郡为商州，天宝元年（公元742年）再改商州为上洛郡，乾元元年（公元758年）又改上洛郡为商州。