1931年春，陶行知从日本秘密返抵上海，任《申报》总管理处顾问，对当时《申报》的革新起了相当大的作用。他以"不除庭草斋夫"的笔名在《申报》副刊《自由谈》发表杂文，猛烈抨击蒋介石的"攘外必先安内"反动下策提出 "安内必先攘外"的联合一致对敌的主张。揭露蒋介石"民入地狱，自造天宫"；痛斥反动派"忍看山河碎，他自有本事，会杀亲姊妹"。他创办了"自然学园"，"儿童科学通信学校"，组织人编辑出版了"儿童科学丛书"和《儿童科学活叶指导》，发起"科学下嫁"运动。并以小说体的形式，写了《古庙敲钟录》一书，阐述他的工学团的教育主张。

1932年10月1日，在上海宝山大场附近，一种新型的教育形式--"山海工学团"正式诞生，以后又创办了"晨更工学团"，"劳工幼儿团"等，"山海工学团"首创"小先生制"， 开展"即知即传"的普及教育运动，影响遍及全国及东南亚。 1933年春，陶行知将原作《锄头舞歌》中加上了"光棍的锄头不中用，联合机器来革命"的新的一段，这表明他已经认识到中国工人阶级的重要地位和作用。1934年主编《生活教育》半月刊。同年7月，他正式宣布将自己的名字由"知行"改为"行知"，表明他已经成为一个彻底的唯物主义者。

1935年，上海党中央局被破坏后，陶氏作为非党共产主义者的代表之一，宣传队共产党的主张和共产主义世界观。国难日深，为解除国难，救国救民，他参与发起了"上海文化界救国会"，组织"国难教育社"，支持组织"新安旅行团"，倡导大众歌曲和大众唱歌团，推行国难教育。

抗日战争爆发后，山海工学团被迫停办。