当玄宗问他时，他即恭恭敬敬地奏道：“臣久知之，但华山陛下本命，王气所在，凿之非宜，故不敢言。”玄宗听了转怒为喜，“以林甫为爱己，薄适之虑事不熟”,责备李适之道：“自今奏事，宜先与林甫议之，无得轻脱。”从此，李适之失去了玄宗对他的信任。
以后，李林甫又指使杨慎矜暗中监视韦坚等人，罗织罪状，必欲置于死地而后快。
杨慎矜虽然投靠了李林甫，但由于后来杨慎矜逐步取得了玄宗的信任，“权位渐盛”,李林甫妒心又起，遂设计加以陷害。李林甫起用王铁为御史中丞，托为心腹。王铁本杨慎矜表侄，青少年时两人感情很好。
但是到了后来，杨慎矜每每以长辈自居，王铁心有不平。李林甫探悉内情，知道王铁与杨慎矜之间有矛盾。王铁对李林甫的包藏祸心是了解的，但他为了除掉杨慎矜，接受了李林甫的指使，利用与杨镇矜的亲戚关系暗中监视，以便“何其隙而陷之”。
杨慎矜对王铁无话不谈，“尝话谶书于铁，又与还俗僧史敬忠游处”。王铁遂诬陷杨慎矜是隋家子孙，企图复辟隋室，所以“蓄异书，与凶人来往，而说国家休咎”。玄宗听后，大为震怒。结果将杨慎矜与兄弟慎余、慎名三人并赐自尽，时在天宝六年(747)。