1932年4月，伪满“军政部”决定在黑龙江、松花江成立江防舰队。1933年5月，以原东北军江防舰队的舰艇为基础，成立了伪满洲国江防舰队。1939年2月改编为伪满洲国江上军。 伪满洲国江防舰队属海军建制，受日本临时驻满海军司令部管辖，军官和士兵着海军服装，军帽绣“满洲帝国江防舰队”字样。江防舰队司令部设于道里买卖街，司令官是少将赵竞昌 。伪江防舰队成立时，共有舰艇10只。其中有原东北军江防舰队旧舰利绥、利济、江通、江平、江清舰5只，新添造了大同、利民、恩民、惠民、普民舰5只。1934年又添造新舰顺天、养民、济民舰3只。兵力700人。1935年9月，伪满皇帝溥仪抵达哈尔滨时，在日伪军将领护拥下检阅了江防舰队。

1939年2月，日本驻满海军部撤销，伪满江防舰队改编为伪满江上军。伪满江上军为陆军建制，军官和士兵着陆军服装。伪江上军与伪满各军管区同级，只是司令官军衔低军管区司令官一级。司令部迁至道外七道街江畔（现航运集团址）。

伪满江上军司令部设参谋处、副官处、军械处、军需处、军法处、军医处、训练处7个处和电讯所，军官约200人，士兵约100人。伪满江上军司令部下辖江防舰队和3个陆战团、2个地区队、1个办事处、1个炮队和1个警防队，共有官兵2600人。3个陆战团分别驻在哈尔滨江北糖厂附近、富锦县和道里松花江铁路大桥北端原东北商船学校址。其主要任务是配合日伪陆军担负在江上的警卫护航、布雷扫雷、炮火支援、渡江架桥等。在黑河和佳木斯分别设有地区队，各配官兵40余人。在虎头设有办事处，配官兵10余人。他们担负搜集苏军军舰动态和江上军巡航舰艇给养供应任务。

伪满江上军的任务是本管江上的治安，巩固国苗，警备江防。由五月至十月在伪满国境线上的黑龙江及乌苏里江指挥分遣舰艇炮艇来往巡视，对抗日联军和苏联监视、警备，在松花江上是警备抗日联军的活动，保护日寇的运输。

伪满江上军舰艇的军官多是日本海军、陆军的退役军人，舰长或艇长一般由他们担任。其余兵员是在哈尔滨招募的一些新兵，经补充队训练一年后到舰艇上服役。

伪满江上军司令官先后是尹祚乾、李文龙、宪原、曹秉森。尹祚乾，中将，原为东北军江防舰队最大的“江亨”舰舰长，后代理江防舰队舰队长，投降日伪后升为中将。李文龙，中将。宪原，中将，伪满皇帝溥仪的侄子。曹秉森，原东北讲武堂教官，投降日伪受到重用，后升任为伪满江上军中将司令官。

1945年8月15日，随着盟军在太平洋方面和苏联红军在东北的猛烈进军，日本政府被迫宣布无条件投降，伪“满洲国”解体。伪满江上军部分官兵起义，其余溃散，伪江上军瓦解。