贺兰向唐肃宗进言房琯的种种不是，唐肃宗从此开始讨厌房琯
这时，北海太守贺兰进明从河南赴行在，被任命为南海太守，代理御史大夫。贺兰进明入宫谢恩，唐肃宗问道：“朕让房琯授你为正职大夫，怎么成了代理呢？”贺兰进明道：“房琯与臣有矛盾。”唐肃宗这才明白。贺兰进明趁机进言道：“西晋任用王衍为宰相，崇尚浮华，以致中原沦丧。陛下中兴社稷，应任用贤才。房琯生性虚浮，好说大话，不是宰相之才。而且房琯在成都辅佐太上皇时，让诸王掌兵权，居重藩，却把陛下安置在边鄙之地，这是对陛下的不忠。他还安排自己的党羽，掌握军队，这哪里是肯为陛下尽忠呢？”唐肃宗从此开始讨厌房琯。
房琯与崔圆结怨，又受门客董庭兰拖累，贬为太子少师担任散官，张镐为宰相
757年（至德二载），宰相崔圆到扶风拜见唐肃宗。房琯认为崔圆此时才来朝见，一定会被罢相，于是对他非常不礼貌。不料，崔圆通过贿赂权宦李辅国，颇受唐肃宗器重，并因此与房琯结怨。而房琯又经常称病，不肯上朝，与刘秩、李揖、何忌等人谈论佛道虚无之事，受到舆论的非议。
房琯还常听门客董庭兰弹琴，董庭兰也借此而弄权谋利。后来，法司弹劾董庭兰，房琯入朝自诉，被唐肃宗斥退。五月，唐肃宗任命谏议大夫张镐为宰相，将房琯贬为太子少师，担任散官。
