杨嗣复深得文宗信任让杨嗣复一个人独力管理天下事；唐武宗认为杨嗣复是‘安王’、‘杨妃’的党羽，贬谪他做潮州刺史

文宗李昂最痛恨‘二李’朋党，让杨嗣复一个人独力管理天下事
文宗李昂最痛恨‘二李’朋党，他甚至说：“去河北贼非难，去此朋党实难”。朝廷从821年开始，朋党拉帮结派，相互打击，国家受损。825年就出现了所谓“八关十六子”的集团，此后‘二李’又轮流做宰相，‘纷纭排陷，垂四十年’，所以，朋党这事是当时皇帝认为最要命的一件事情。杨嗣复只得坚决要求辞职。
最终皇帝罢免了郑覃、陈夷行，让杨嗣复一个人独力管理天下事，这说明他还是很信任杨嗣复的。

唐武宗贬斥杨嗣复做吏部尚书、湖南观察使，派人分路去追杀杨嗣复、李珏等人
841年正月，杨嗣复正准备对官员们进行精兵简政的时候，文帝去世了。宦官仇士良废掉遗诏，拥立了唐武宗。同年9月，贬斥杨嗣复做吏部尚书、湖南观察使。
皇帝认为杨嗣复是‘安王’、‘杨妃’的党羽，于是派人分路去追杀杨嗣复、李珏等人。宰相李德裕与崔郓、崔珙等人醒悟过来，阻止皇帝‘手滑’、追还使者，只把杨嗣复贬谪做了潮州刺史。
6年后，他被招回，做了江州刺史一年，升为吏部尚书，可是走到岳州，就去世了。