房琯反对唐肃宗重用第五琦敛财，唐肃宗道没有钱财军队就会溃散，房琯无言以对
第五琦因善于理财被任命为江淮租庸使，房琯进谏道：“从前杨国忠搜刮盘剥，使天下怨恨；如今陛下登基，尚未施行德政，便又宠信第五琦。这是一个杨国忠死了，另一个杨国忠又产生了，恐怕难以让天下安心。”唐肃宗道：“我正紧急调集军队，没有钱财军队就会溃散。你可以厌恶第五琦，但哪里去弄钱财呢？”房琯无言以对。
房琯的人物评价
柳宗元：房公相玄宗，有劳于蜀，人咸服其节；相肃宗，作训于岐，人咸尊其道。惟正直慈爱以成于德。用是进退，所居而事理辩，所去而人哀号。
李肇：宰相自张曲江之后，称房太尉、李梁公为重德。
刘昫：琯好宾客，喜谈论，用兵素非所长，而天子采其虚声，冀成实效。琯既自无庙胜，又以虚名择将吏，以至于败。② 禄山寇陷两京，儒生士子，被胁从、怀苟且者多矣；去逆效顺，毁家为国者少焉。如光远勇决任气，会权变以立功；房琯文学致身，全节义以避寇。阽危之时，颠沛之际，有足称者。然光远居重藩，掌军政，琯登相位，夺将权，聚浮薄之徒，败军旅之事，不知机而固位，竟无德以自危。
宋祁：琯有远器，好谈
老子、浮屠法，喜宾客，高谈有余，而不切事。时天下多故，急于谋略攻取，帝以吏事绳下，而琯为相，遽欲从容镇静以辅治之，又知人不明，以取败挠，故功名隳损云。② 唐名儒多言琯德器，有王佐材，而史载行事，亦少贬矣。一举丧师，讫不复振。原琯以忠谊自奋，片言悟主而取宰相，必有以过人者，用违所长，遂无成功。然盛名之下，为难居矣。夫名盛则责望备，实不副则訾咎深。使琯遭时承平，从容帷幄，不失为名宰。而仓卒济难，事败隙生，陷于浮虚比周之罪，名之为累也，戒哉！
司马光：房琯喜宾客，好谈论，多引拔知名之士，而轻鄙庸俗，人多怨之。
叶子奇：昔杨国忠为相，任鲜于仲通为将，使征云南，丧师一十万；房琯为相，用琴士董廷兰为将，使拒
安禄山，丧师四万；王介甫为相，命门客李复圭为将，使攻西夏永洛城，丧师亦数万，是皆取非才于亲暱，皆由君不知将，将不知兵，未有不败其国者也。
归有光：房琯自成都奉册灵武，亟见任用。以天下为己任，知无不为，参决机务，诸将相莫敢望。既而以贺兰之谮，分军讨贼，师败于咸阳。唐世名儒皆称其有王佐之材，然将兵固非所长，一与贼遇，遂至丧师。前史称其“遭时承平，从容帷幄，不失为名宰；而用违所长，遂陷浮虚比周之罪”。
张大龄：琯之德器岂尽虚名乎？琯乃平世三公之才耳。肃宗用违其才，所以一败而不振。若收复之后，令琯从容讽议，镇静庙堂，以抚摩残喘，毋令谗邪间之，当必有可观者。方用而疑之，方疑而将之，既败而即逐，一逐而不收。人皆嗟琯之不尽其用，予独悲琯之不逢其时。
王夫之：陈涛之败，继以清渠，不得专咎房琯而谓汾阳之所向无前也。推其致弱之繇，玄宗失计于前，肃宗不能遽振于后，积弱乍兴，不得不资回纥以壮士气而夺贼胆，其势然也。
