隋开皇二十年(公元600年)割云州之榆林、富昌、金河3县另置胜州，治所在榆林（内蒙准格尔旗二十连城乡所在地黄河南岸的台地上）。炀帝大业五年（公元609年）将胜州改为榆林郡，辖区不变。唐初，仍置胜州，领榆林、河滨2县。唐末，胜州成为党项所占，公元916年，辽兵攻入胜州，侠迫城内百姓迁往黄河东北岸的东胜州，胜州遂废。
胜州为仙剑奇侠传三外传问情篇中的一处城镇。
隋置，今内蒙古托克托、萨拉齐二县、蒙古鄂尔多斯左翼及茂名安之地，后陷于突厥，唐仍隋旧理置胜州，以决胜为名，故城在今内蒙古鄂尔多斯左翼后旗黄河西岸，辽金东胜州则在黄河东岸。