西魏改南平州为升州，北周废州为升平郡。隋仁寿元年复为升州。升州治湖阳县，即今河南唐河县湖阳镇。大业三年（617）废。
唐初，杜伏威、辅公祏义军占据丹阳郡（含今南京），归顺唐廷。但杜伏威入朝后被扣不返，辅公祏遂起兵反抗，建立宋政权。唐平江南，置升州（繁体作升，今简化为升）。758年，著名书法家颜真卿为升州刺史，次年书乌龙潭放生池碑，遗址今存。李白晚年居升州。937年，徐知诰（李昪）代吴，南唐立国，定都金陵，改金陵府为江宁府。975年，北宋灭南唐，复改江宁府为升州。1018年，宋真宗以赵受益（后改名赵祯）为升王，不久立为皇太子，又复改升州为江宁府。