虚名，任王夷甫为宰相，沿袭浮华，所以最终导致失败。现在陛下正在恢复社稷，理当任用有真才实学的人，但是房 琯性情疏漏爱好摆阔，喜欢夸夸其谈，不是做宰相的材料。陛下非常器重房琯，依我来看，房琯最终不应被陛下所任用。”肃宗询问缘故，进明说：“房 琯以前在南朝为先王撰令安置天下，于是以永王为江南节度，用颍王为剑南节度，用盛王为淮南节度，命令说：‘令长子在北巡视朔方，命各王分别驻守重镇，况且太子出去作为抚军，进朝作为监国，房 琯却以卑职来统领天下，皇储反而居处边壤，这看来虽然是忠诚先王，对陛下却不是忠诚的。房琯这样的用意，是认为只要先皇诸子中有一人得天下，他都不会失去恩宠。又分别培植自己的私党刘秩、李揖、刘汇、邓景山、窦绍之流，让他们担任副职。由此推论，房 琯怎么能对陛下谒尽忠诚呢？我正准备肃正衙府将房琯弹劾，不得不事先上奏皇上。”皇上于是厌恶房琯，任命进明为河南节度，兼御史大夫。

崔圆本来是蜀中拜相，肃宗幸驾扶风，崔圆于是来朝拜肃宗。房 琯认为崔圆初来乍到，应当免去相职，所以对待崔圆很冷淡。崔圆与李辅国结交深厚，来到后几天，颇受恩宠，也对房琯不满意。房 琯又经常称病，不按时朝拜，对处理政事简单懈怠。当时因两京沦陷议论纷纷，皇帝出城临时驻扎在外郊，天下人心惶惶不安，正是主忧臣辱的时候，此时房 琯身为宰相，却毫无紧张意识。只与庶子刘秩、谏议李揖、何忌等人高谈阔论，谈论释氏的前因后果，老子的虚无观点而已。此外，就听董庭兰弹琴，大规模设宴招待琴客，朝官往往通过庭兰拜见房 琯，房琯这时也开始大肆收取贿赂，索取的赃物很多。颜真卿当时任大夫，批评何忌不孝，房琯与何忌结党，马上借口颜真卿酒醉入朝，将他贬为西平郡司马。宪司又上奏批评董庭兰收取贿赂，房 琯进朝辩解，皇上呵斥房琯退下，房琯于是回到私宅，不敢干涉人事问题。谏议大夫张镐上表皇上，房琯的大臣，门客受贿，不应该连累房 琯。至德二年(757)五月，将房琯贬为太子少师，令张镐接替房琯任宰相。

这年十一月，房琯跟随肃宗回到京师。十二月，获大赦。封官行赏，加封房 琯金紫光禄大夫，又封为清河郡公。房琯既然不居要位，朝臣经常为他抱屈，房琯也经常自夸有文武才能，应当为国家献计献策，希望能承蒙恩宠，受到重用。又招揽宾客，朝夕盈门，有去过他家的人，又将房 琯的言论在朝廷上公开传扬。房琯又经常称病，皇上非常不高兴。

当时琯州长期驻扎军旅，大多用武将兼领刺史，法令制度遭到破坏，州县的官署房屋，都用来驻扎军队，官吏侵占夺取百姓的房屋用来自己居住，百姓都认为这是有害的。房 琯到任，陈述法令制度，令州县严守法令，又治理调和公馆，让官吏各自回到官曹，人称他公正，其声誉显著。二年(759)六月，皇帝褒奖称赞他，提拔为太子宾客。上元元年(760)四月，改任礼部尚书，不久出任为晋州刺史。八月，改任为汉州刺史。房 琯的长子乘，从小双目失明。房琯到汉州，赠送钱财给司马李锐，从而俩人交情深笃，房乘娶李锐的外甥女卢氏为妻，当时有人议论房 琯没有应有的品行。宝应二年(763)四月，提拔为特进、刑部尚书。在途中遭遇疾病，广德元年(763)八月四日，死于阆州僧舍，终年六十七岁，追封为太尉。

张镐，博州人。风度仪表伟岸，豁达胸怀大志，涉猎经史，喜爱谈论王霸大略。年少时侍奉吴兢，兢非常器重他。后来游历京师，身居一室，不与外人交往。嗜酒，喜欢弹琴，常放在座位右边。公卿中有人邀请他，镐拿起拐杖径直前往，一醉方休。