大业十三四月，李渊见时机成熟，乃命刘文静伪造隋炀帝敕书，征太原、西河(治隰城，今山西汾阳)、雁门(治雁门，今山西代县)、马邑(治善阳、今山西朔县)四郡20至50岁的男子为兵征高丽，以激怒人民起来反隋。又命刘文静派人备了一份厚礼，到突厥可汗那里讲和，相约攻入长安后，突厥可汗得财宝美女，李渊得土地。而后又借口刘武周占据汾阳宫，命李世民、刘文静、长孙顺德、刘弘基等人募兵，10天之内有近万人应募。李渊还秘密派人将李建成、李元吉和在长安的女婿柴绍召到晋阳。李渊父子的起兵准备引起炀帝派来监视其行动的太原副留守王威和高君雅的猜疑，他们拉拢晋阳乡长刘世龙，企图利用在晋祠求雨的机会，将李渊诛杀。李渊得到刘世龙密报，乃决定立即采取行动。五月十四日夜，李渊命李世民率精兵500埋伏于晋阳宫城东门的左边，加强戒备。十五日晨，命刘文静和鹰扬府(一说开阳府)司马刘政会出面污蔑王威、高君雅谋反，私通突厥，引突厥兵南攻。高君雅刚申辩，刘文静、长孙顺德和刘弘基等人立即将他们逮捕，旋将其斩首。这个事件史称“晋阳兵变”。

裴寂等人为李渊上尊号“大将军”，又晋献晋阳宫财物作为军资之用，计有粮食九百万斛，杂彩五百匹，铠甲四万副。裴寂并请“大将军”李渊移驾晋阳宫。

大业十三年六月十四日，李渊于晋阳宫设置大将军府，封建成为陇西公，左领军大都督， 统率左三军；李世民为敦煌公，右领军大都督，统率右三军；李元吉为姑臧公，镇北将军，太原太守。以裴寂为大将军府长史，刘文静为司马，唐俭、温大雅为记室，温大有为太原令，殷开山为府掾，武士镬为铠曹，刘政会、崔善为、张道源等为户曹，长孙顺德、刘弘基、窦琮、张纶、王长谐、姜宝谊等为统军，柴绍为右领军府长史，许世绪、许洛仁兄弟分别为左右领军府司马。军士皆称为义士。

至此，举义反隋的组织工作业已就绪，史称之为“晋阳兵变”，亦称“六月十四日事变”。

李渊父子反隋兴唐的大业就此揭开序幕。是年，李世民二十岁。因其生于腊月，实足年龄仅十八周岁，故古人有“太宗十八举义兵”之说。