第二天，李世民又找李淵說(shuō)：“父親受皇上的委派，到這里討伐反叛的人。可是眼看造反的人越來(lái)越多，您能討伐得了？再說(shuō)，皇上猜忌心很重，就算您立了功，您的處境更加危險(xiǎn)。只有照我昨天說(shuō)的辦，才是唯一的出路。”

　　李淵猶豫了許多時(shí)候，才長(zhǎng)嘆一口氣說(shuō)：“昨天夜里，我想想你說(shuō)的話，也有道理。我也拿不定主意。從現(xiàn)在起，是家破人亡，還是能化家為國(guó)，就憑你啦！”

　　李淵把劉文靜從晉陽(yáng)牢監(jiān)里放了出來(lái)。劉文靜幫助李世民，分頭招兵買馬。李淵又派人把正在河?xùn)|打仗的另兩個(gè)兒子李建成和李元吉召了回來(lái)。 太原的兩個(gè)副留守看到李淵父子的舉動(dòng)反常，想出來(lái)阻撓。李淵借口他們勾結(jié)突厥，把他們抓起來(lái)殺了。

　　李淵又聽(tīng)從劉文靜的計(jì)策，派人備了一份厚禮，到突厥可汗那里講和，約他一起反隋。突厥可汗覺(jué)得這樣做對(duì)他們有好處，就答應(yīng)幫助李淵。

　　李淵穩(wěn)住突厥這一頭，就正式起兵反隋。李淵自稱大將軍，派李建成和李世民分別做左右領(lǐng)軍大都督、劉文靜做司馬，又把兵士都稱為“義士”。他們帶領(lǐng)三萬(wàn)人馬離開(kāi)晉陽(yáng)，向長(zhǎng)安進(jìn)軍。一路上繼續(xù)招募人馬，并且學(xué)農(nóng)民起義軍的做法，打開(kāi)官倉(cāng)發(fā)糧給貧民。這樣一來(lái)，應(yīng)募的百姓就越來(lái)越多了。

　　唐軍到了霍邑（今山西霍縣），遭到隋朝將軍宋老生的攔擊。霍邑一帶道路狹隘，又正趕上接連幾天大雨，唐軍的軍糧運(yùn)輸中斷了。兵士中還紛紛傳說(shuō)突厥兵正準(zhǔn)備偷襲晉陽(yáng)。李淵動(dòng)搖起來(lái)，想撤兵回晉陽(yáng)去。

　　李世民對(duì)李淵說(shuō)：“現(xiàn)在正是秋收季節(jié)，田野里有的是糧食，哪怕缺糧！宋老生也沒(méi)有什么可怕。我們用義兵的名義號(hào)召天下，如果還沒(méi)打仗就后撤，豈不叫人失望。回到晉陽(yáng)，是斷斷沒(méi)有生路的。”

　　李建成也支持他弟弟的主張。李淵這才改變了主意，取消了撤兵的打算。

　　八月的一天，久雨剛剛放晴。唐軍一早沿著山邊小路，急行軍來(lái)到霍邑城邊。李淵先派建成率領(lǐng)幾十個(gè)騎兵在城下挑戰(zhàn)。宋老生一看唐軍人少，親自帶了三萬(wàn)人馬出城。李世民帶兵居高臨下從南面山頭沖殺下來(lái)，把宋老生的人馬沖得七零八落。宋老生急忙回頭想逃回城去。李淵的兵士已經(jīng)占了城池，把城門關(guān)得緊騰騰的。宋老生走投無(wú)路，被唐軍殺了。

　　唐軍攻下霍邑以后，繼續(xù)向西進(jìn)軍，在關(guān)中的農(nóng)民軍的配合下，渡過(guò)黃河。留在長(zhǎng)安的李淵的女兒也招募了一萬(wàn)多人馬，號(hào)稱“娘子軍”，響應(yīng)唐軍進(jìn)關(guān)。

　　李淵集中了二十多萬(wàn)大軍攻打長(zhǎng)安。守在長(zhǎng)安的隋軍，要想抵抗也沒(méi)用了。李淵攻下長(zhǎng)安以后，為了爭(zhēng)取民心，宣布約法十二條，把隋王朝的苛刻法令一概廢除，并且暫時(shí)讓隋煬帝的孫子楊侑（音ｙòｕ）做個(gè)掛名的皇帝。

　　第二年（公元６１８年）夏天，從江都傳來(lái)了隋煬帝被殺的消息，李淵才把楊侑廢了，自己即位稱帝，改國(guó)號(hào)為唐。這就是唐高祖。