“义军”围困长安之后，并没有急于攻城。
李渊屡次派人到城下，送书信给卫文升，但守城将士却根本不报知卫文升。
代王杨侑与卫文升、阴世师等人，认为“义兵”势众，且军令严整，越发闭城固守。
李渊怕兵戎相见，毁坏宫室，伤及百姓，而落下骂名，执意要劝降城中守军，一直不下令攻城。
------
关中刚归附的诸将求战心切，他们认为自已不是举兵起事的元勋，以没有建功为耻，纷纷要求率所部攻城。
十月十七日，关中群雄，再次请求率精锐登城。李世民、李建成心中同意，但却不敢违抗李渊的命令，就派人报告李渊，李渊坚决不予允许。
十月二十七日，各部又一次请求攻城，李渊又未允许。
李世民、李建成极力劝说李渊，“自晋阳发兵以来，我军长驱直入，基本上没有不能攻克的城池。如今到了京师，久围不攻，恐将挫了将士锐气。更让人担忧的是，怕新归附的部众小看太原之兵，认为我等无能。请阿爷速做决断，以免夜长梦多，生出意料之外的变故。”
李渊见众将攻城心切，也不好再作阻拦，只得同意李世民、李建成和部众的请求，允许攻城，但却下令，“不得侵犯宗庙、代王杨侑和隋朝宗室。有违此者，罪及三族。”
------
得到李渊同意以后，各部开始进行精心准备，修造攻城器械，演练攻城之法。
十一月初九拂晓，各部开始攻城，守城官兵瞬间分崩离析，几乎未遇抵抗，即攻克长安。
李渊命李世民、李建成将各部撤出城外驻扎，派人查封府库，收存图籍，禁止掳掠，所有军队严加约束，不得惊扰城中百姓。
李渊亲自到东宫，恭迎代王杨侑迁居到大兴殿。
-------
破城之后，李渊下令抓捕原马邑郡丞李靖。
李靖文武兼备，善于用兵，长于谋略，曾随李渊北击突厥。
晋阳起兵前，李靖发现李渊也暗中招兵买马，伺机而动，准备发动兵变。察觉李渊的动机之后，他将自己伪装成囚徒，逃离晋阳，准备前往江都，向杨广告密。但当到长安之时，关中已经大乱，道路阻塞，李靖去江都的打算未能成行。
李渊对李靖的所做所为十分气恼，将其抓捕后准备将其斩首。李靖见到李渊，丝毫无畏惧之色，抗声道，“唐公举兵起事，本来是为天下除暴平乱，难道不想成就大事，反而因私怨杀壮士吗？”
在李世民一再劝说下，李渊怒气才消，终将李靖释放。李世民感佩李靖的才略和胆气，将其收入自己幕府。
-------
杨玄感兵变之时，杨广曾下令掘其祖坟。
李渊晋阳起兵后，长安留守的官员阴世师、骨仪等人，也按照杨广处置杨玄感的先例，毁了李家宗庙、掘了李渊的祖坟。
对于此事，李渊甚为愤恨。
攻克长安之时，卫文升已经病亡，李渊就命李建成将阴世师、骨仪、崔毗伽、李仁政等十几人，斩首于朱雀大街，此外再没有追究一人。
------
文武官员劝李渊自立为帝，但李渊不同意。
从内心来说，称帝乃李渊日思夜想之事，如不想称帝又何必冒着抄家灭门的风险举兵起事？
但当下的情势却不允许，虽说是关中初定，可是北边仍有薛举、梁师都、刘武周和突厥等强敌，李密与王世充正在中原一争高低，山东、燕赵之地群雄割据，江南仍由大隋皇帝掌控。李渊如若此时称帝，有可能引起诸强联合，借机给李渊加上忤逆的罪名，共讨李渊。这样李渊有可能成为众矢之的。
因此，李渊内心对皇帝大位是垂涎三尺，对外却不得不打出“尊隋”的旗号。
他对外所说的，都是冠冕堂皇的理由，实则全不是他的真心话。
------
既然还不到称帝的良机，李渊就需要立代王杨侑做傀儡皇帝。他命太常寺官员择定吉日，祭告隋文帝庙，确定尊位，筹备立代王杨侑为皇帝的礼仪。
十一月十五日，李渊率文武百官，备羽仪法驾等仪仗，迎代王杨侑即位于大兴殿，当时代王年仅十三岁。
新帝杨侑下诏，大赦天下，改大业十二年为义宁元年。在诏书之中，不说废杨广立代王，而说遥尊杨广为太上皇。
------
新皇帝杨侑即位，下诏：特赐李渊持黄钺、持节，委以大都督内外诸军事、尚书令、大丞相，晋封为唐王。以武德殿为丞相府，每日于虔化门办理政务。晋封李建成为唐世子，李世民为京兆尹、秦公，李元吉为齐公。
------