杨万里力争主战名相张浚当配飨，无异“指鹿为马”，于绍熙元年自劾失职

杨万里力争主战名相张浚当配飨，无异“指鹿为马”，故惹恼孝宗

淳熙十五年（1188年）三月，孝宗采纳翰林学士洪迈之议，以吕颐浩等人配飨高宗庙祀。杨万里力争主战名相张浚当配飨，指斥洪迈不俟集议、专辄独断，无异“指鹿为马”，因此惹恼孝宗。孝宗说：“万里以朕为何如主？”因而削去直秘阁，出知绢州（今江西高安）。
 

杨万里于绍熙元年自劾失职，请求去职，光宗挽留

淳熙十六年（1189年）二月，孝宗禅位于太子赵惇（即宋光宗）。杨万里于五月复直秘阁，八月被召，九月入京。他连上三札，要求光宗爱护人才，防止奸佞做到“一日勤，二日俭，三日断，四日亲君子，五日奖直言”（《第三札子》）。十月，除任秘书监。
绍熙元年（1190年），以焕章阁学士职充任接伴金国贺正旦使，兼实录院检讨。八月，《孝宗日历》修成，照例应由杨万里为《日历》作序，而宰臣却另命礼部郎官傅伯寿作序，杨万里于是自劾失职，请求去职，光宗挽留。接着又因要进《孝宗圣政》书，本应由杨万里奉进，但孝宗犹念旧恶，大不痛快，于是出江东转运副使，暂时代理总管淮西和江东军马钱粮。