这番话看上去完全是为朝廷考虑，也没有一句伤害杨炎的话。德宗皇帝果然信以为真，就听信了卢杞的话，免去了杨炎的宰相职务。就这样，只方不圆的杨炎因为不愿与小人同桌就餐而莫名其妙地丢掉了相位。
从此卢杞独掌大权，杨炎可就在他的掌握之中了，他自然不会让杨炎东山再起的，便找碴儿整治杨炎。杨炎在长安曲江池边为祖先建了座祠庙，卢杞便诬奏说：“那块地方有帝王之气，早在玄宗时代，宰相萧嵩就曾在那里建立过家庙，因为玄宗皇帝曾到此地巡游，看到此处王气很盛，就让萧嵩把家庙改建在别处了。如今杨炎又在此处建家庙，必定是怀有篡权夺位的谋反野心！近日长安城内到处传言：‘因为此处有帝王之气，所以杨炎要据为己有，’这必定是有当帝王的野心。”
杨炎有“谋反篡位”之心，岂能容之！于是，在卢杞的鼓动之下，勃然大怒的德宗皇帝，便以卢杞这番话为借口，将杨炎贬至崖州（今海南省境内）司马，随即下旨于途中将杨炎缢杀。