光绪三十二年(1906)三月，安徽巡抚恩铭将安徽武备学堂改为安徽陆军小学堂。院址仍为安庆北门外敬敷书院旧址。11月，正式开学。学堂设总办、监督、提调、文案等管理人员，学堂有学长2人，教习8人，当时已调任巡警学堂总办的徐锡麟被巡抚恩铭加任为陆军学堂监督。原由武备学堂聘请的日本军事教官因合同期未满，留在陆军学堂继续任教。安徽近代名人潘赞化曾在这里教授日语课。

学堂学制三年，每年招正额公费学生70人，附额自费生52人。开设的课程有：修身、国文、洋文、历史、地理、格致、化学、算学、博物、训诫、操练、游泳、号音等13门。从以上课程设置看，陆军学堂与一般中学似乎没有太大的区别，但有史料记载，熊成基1908年策动马炮营起义时，作战密令的第五条是"至北门外陆军小学堂夺取步枪，得枪后旋在该校取子弹进城"。由此判断陆军学堂军事教学色彩当时相当浓厚的。

学堂先后招了四期学生，黄花岗七十二烈士之一的程良即为陆军小学堂的毕业生。

宣统三年十月（1911年11月）初，武昌起义爆发后不久，安徽巡抚朱家宝害怕新军起义，下令陆军小学堂停办，但为时已晚，11月6日，安庆革命党人宣布安徽独立。为了应付革命时的地方治安，革命党人韩耆伯（韩衍）、管鹏等以陆军学堂、测绘学堂的学生为主，组成青年军。韩衍任总监。"在当时混乱的局面中，青年军确实起了维持革命秩序，巩固革命成果的作用"。

辛亥革命后，陆军学堂停办。1917年，安徽省教育厅在陆军小学堂校址开办了"安徽省立女子蚕桑讲习所"，