李适之拜相后与中书令李林甫争权，因性情粗疏常落下风，最后罢相遭贬
李适之拜相后，与中书令李林甫争权，但因性情粗疏，常中李林甫的圈套。李林甫曾对李适之道：“华山有金矿，开采可以富国，皇帝还不知道。”李适之便在一日上朝时，将华山金矿奏知唐玄宗，唐玄宗又询问李林甫。李林甫道：“臣早就知道，但是华山是陛下本命山，乃王气所在，不宜开凿，臣便没有提及。”唐玄宗便认为李适之虑事不周，对他道：“你以后奏事时，要先与李林甫商议。”李适之从此逐渐被疏远。
当时，与李适之交好的陇右节度使皇甫惟明、刑部尚书韦坚、户部尚书裴宽、京兆尹韩朝宗等人先后遭到李林甫的中伤构陷，被贬官流放。李适之惊惧不安，便上疏请求改任散职。天宝五年（746年），李适之被罢去相位，改授太子少保。
此后，李适之欣然不已，自以为可以避免灾祸。他宴请亲朋，于席间赋诗道：“避贤初罢相，乐圣且衔杯。”同年七月，李林甫上疏朝廷，诬称李适之与韦坚等人结成朋党。韦坚因此被长期流放临封（在今广州），李适之则被贬为宜春太守。
御史罗希奭奉李林甫之命将李适之交好的韦坚、裴敦复、李邕等人杀害，李适之惊惧之下服毒自尽
天宝六年（747年），御史罗希奭奉李林甫之命，将韦坚、裴敦复、李邕等人杀害于贬所。各地官员闻听罗希奭之名，无不恐惶惊骇。不久，罗希奭前往宜春郡。李适之惊惧之下，服毒自尽。
