第二年春天，李靖率领3000骑兵从马邑出发，趁夜袭击定襄，取得了胜利，李世勣率军进兵云中，也大败突厥兵。后来，李靖在阴山又击败突厥颉利可汗。颉利可汗战败后，带着几万残兵逃往铁山，派部将执思失力入朝请罪，并请求归附大唐。唐太宗很高兴，派唐俭等一干人前去抚慰，同时命令李靖带着人马去迎接颉利可汗。
颉利可汗表面上已经臣服于大唐，实际上另有打算，他想等草青马肥之时，伺机逃入漠北。李靖受命后，立即率唐军出发，在白道同李世勣会合。
李靖分析了颉利的心态后，对李世勣说："颉利虽说吃了败仗，但手中还有大批人马，如果他逃到道路艰难偏远的碛北，就难于追击了。如今皇上派我去迎接他，他一定认为我军不会进攻他。如果我们挑选1万精锐骑兵，强行军赶赴颉利所在的阴山，出其不意地袭击突厥兵，一定会擒住他。"
李靖又将这个计划告诉给了张公瑾，张公瑾对此十分不解，说："皇上已经下诏同意颉利归降了，唐俭又已经到了颉利的牙帐，我们如果发兵攻打，恐怕不太合适吧？"