刘文静认为，当此关键时刻不应与突厥结下仇怨，应该交好突厥，将来南下叩关西进才无后顾之忧。
李渊采纳刘文静的建议，几人定下退兵之计。
------
为了鼓舞士气，李渊召集部下将士，他神色自若，谈笑如常，对众官员道，“突厥军队没有什么可怕，受王威、高君雅诓骗而来，我只要略施小计，便可让他们自行退去。”
众官员对李渊的话并不十分相信，突厥轻骑数万人远途奔袭而来，哪有不战就自行退去的道理？但也只能带着半信半疑的想法，按李渊的安排行事。
------
到了夜间，李渊派将士出城占领险要地形，告诉他们见到突厥军队迅速占据险要，不要与之交战，突厥军队离开，也不要追击。
另外，还派出军队夜间悄悄出城，到了早上，伪装成从其它地方调过来的援军，大张旗鼓进入晋阳城中。
突厥军队摸不透晋阳城中的情况，不敢贸然进入晋阳城，第二日在城外抢掠了一番，便自行退兵而去。
------
全城军民百姓无不叹服唐国公英明神武，用兵如神，同时更加恼恨王威、高君雅勾结突厥人。李渊为平众怒，将王威、高君雅斩首示众。
文武官员皆向李渊庆贺，赞誉唐国公妙计吓退突厥骑兵。
李渊轻轻一笑，似乎此事不值一提，对众官员道，“设计让突厥退兵只是小事一桩，我只需修书一封与始毕可汗，今后突厥人便为我所用，不敢再犯我境。”
------
于是当众修书与突厥始毕可汗，书中尽述愿共同尊隋，效隋文帝之时，双方和亲，交好如初之意，派刘文静为使者，携李渊亲笔书信去见始毕可汗。
始毕可汗收到李渊书信，心中大喜，当即回书让刘文静带回，表示赞同双方交好，但却不同意李渊共同尊隋的说法，要李渊自立为天子，才愿意双方交好。
------
刘文静来往七日，带着始毕可汗的回书返回晋阳。
听说始毕可汗愿意双方交好，并要唐国公自立天子，文武官员一个个高兴得手舞足蹈，纷纷劝说李渊答应始毕可汗提出的要求。
李渊却凛然说道，“我乃是隋臣，世受皇恩，理当尽忠守节，本想着与突厥交好，使其不再南侵，让百姓安居乐业，没想到他却以让我自立为天子想逼，此事断不可能，尔等也不必再劝。”
众官员见李渊说得大义凛然，言词恳切，也不敢再劝。
-------
驻扎于兴国寺的新募士卒，听说李渊不同意，始毕可汗让其自立为天子的请求，便纷纷私下议论，“如果唐公不同意突厥让其自立为天子的请求，我等便不愿再追随唐公。”
刘文静、裴寂得知士卒的议论，马上报知唐国公李渊。
李渊当着众官员的面训斥道，“你我皆是隋臣，却以这种话来劝我，臣节何在？”
刘文静、裴寂竭力劝道，“假使伊尹、姜尚尽忠于桀、纣，就不会做商、周之臣。如今我等改事唐公，就再不拘小节。如今将士已经集结，所缺的就是战马，如果不同意始毕可汗所请，就不可能得到胡马。唐公如不早下决心，恐将悔之晚矣。”
李渊听后，似有所动，叹道，“举大事，如不效仿古人，确实难以成事，但是还愿诸位贤能详作考虑，看能不能拿出两全之策？”
------
进入六月，李建成、李元吉携家眷来到晋阳，李三娘没有随行，柴绍则是孤身一人。
李渊看到儿子、女婿到来，心中欢喜不已，从此心中再没有了忧虑。
裴寂、刘文静和李建成、李世民来见李渊，向李渊禀报他们商议的起兵之策。
裴寂代表众人向李渊道，“唐公应效仿伊尹放大甲，霍光废昌邑王的故事，废当今皇帝而立代王，传檄全国郡县兴义兵，改旗易帜以示突厥。这样既不违尊隋之道，又顺天意民心。”
李渊听后，不胜唏嘘，“这样做无异于掩耳盗铃，但为时势所迫也不得不如此。虽对不起当今主上，却无负于先帝。”
裴寂等人劝慰李渊，“当今主上承嗣于文皇帝，任杨素祸国专权，亡国丧家，致使民怨神怒，变乱蜂起，这是上天对他的惩罚，是罪有应得。”
------
商议已定，李渊派使者驰报突厥始毕可汗，告之：尊当今主上为太上皇，立代王杨侑为皇帝，旗帜改为绛白两色。
始毕可汗同意李渊的做法，派其柱国康鞘利等人，送马千匹来太原进行交易。