吕文德贪污军饷，其家族贪污腐败富可敌国，还曾辱骂孔子

吕文德贪婪无比，有记载吕文德贪污军饷，其家族贪污腐败富可敌国。
吕文德为将非常贪婪，根据宋人刘克庄的记录，理宗淳祐初年，吕文德入京朝见，由赵希静代理统帅他的军队，结果发现吕文德的军队“军无宿储，万口藉藉，愤吕掊克”，赵希静就参了吕文德一本，使吕文德一度受到降职处分。黄震也记载了吕文德贪污军饷，将朝廷养兵之赋“入为己有”的情况。
吕文德及其家族的腐败导致吕氏一族富可敌国，时人记载吕家“宝货充栋宇，产遍江淮，富亦极矣” ，直到元朝，宋人遗民还记得当年“吕氏子孙珠玉锦绣之习，舆马声伎之奉”，留下了深刻的印象。 与吕文德家族所拥有的财产相比，“石崇又何足数也？” 

黄震评价吕文德卑鄙小人不识字，在被起用为一郡之长时，辱骂孔子。
南宋遗民黄震称吕文德是“愚鄙小民，不识字，每佯痴，好无礼士大夫。”又记载他刚被起用为一郡之长的时候，不肯祭祀孔子，骂孔子“不曾教我识字”。