着中日交流的发展，大批的留学生来到日本留学，毕业后进入日本的公司、大学、研究所就职的人数已达数 千人，这些留学人员在日本工作的同时，抱有很高的报效祖国的热情。另一方面，中国的改革开放历经多年的发展，也进入了一个新阶段。九届人大总结了过去改革 开放的成果和经验，同时也提出了今后的改革方向。这种新的形势，为留学人员为国服务提出了新的课题，也开辟了广阔的新天地。为了适应这种新形势，加强在职 留日学人之间的联系，更好的推动留学人员为国服务工作，促进中日友好交流活动的开展，于1998年2月1日成立了全日本在职中国留学人员联谊会。原全日本在职中国留学人员联谊会2000年10月22日经全日本在职中国留学人员联谊会第二届理事会第一次全体会议讨论决定，“全日本在职中国留学人员联谊会”正式更名为“中国留日同学总会”。中国留日同学总会由全体会员选举理事，理事会推举会长、副会长和秘书长。全国人大常务副委员长吴阶平任总顾问，国内有关部委领导及中国驻日大使担任顾问、中国驻日使馆教育参赞任名誉会长。中国驻日使馆、教育部、人事部、统战部、欧美同学会、共青团中央、中华全国青年联合会、国家计划委员会和国家经济贸易委员会等国家部委和团体对本会的成立给予了大力支持，并对本会的工作进行了全面的指导