寇攻陷京城，府库被抢劫一空。到代宗到达行都时，太常博士柳伉上书直言极谏应当杀程元振以谢天下之人。代宗担忧人心归罪，便罢免了元振的官职，将他放逐归田，他的家乡在三原县(今属陕西)。

十二月，代宗车驾回到京城，程元振披麻戴孝地坐在车子里，混入京城，以谋划再度任职进用。他与御史大夫王升一块饮酒，被御史台所弹劾。所颁诏书写道：

“杂乱地站在一起聚众交谈，法令尚且不容许，狼狈为奸秘密计谋，比相互交谈处罚更应从重，如此所作所为，情形实难原谅。程元振性情凶残暴戾，秉赋庸俗愚蠢，渺小之人，虽万死不足以塞责。近来本已对严厉的刑法有所放宽，念他有过功劳，枉法以表示恩顾，将他放逐归田。却仍不知约束自己的言行、私欲，还不知道自己的过错，既忘了恩顾的仁厚，又另怀非分的冀望。竟敢召集众人，还想有所动作。不听令的臣子一道窥伺时机，妄谈善恶吉凶，仍然心怀不满。捆绑包裹起兵器铠甲，换了衣服暗中行动，毫不顾及君臣之亲，准备图谋不轨。经审查检验都是如此，无法逃脱刑罚，首足异门而出，也不能塞责。然朕仍不能忘他的微劳，再次饶恕罪人。特免除砍头的刑罚，把他流放到荒远的地方以正法典。可长期流放溱州为百姓，委托京兆府派人押送递解，所路过的各州县，派人接应援助，一直押抵目的地，不许乱跑，即使有不同寻常的大赦，他也不在集中恩赦之列。一切官吏百姓应体察朕的心意。”

鱼朝恩，天宝末年以宦官身份进入内侍省，始为有品级之官，供职黄门。生性聪慧，善于宣旨应对，通晓文字筹算。至德年间，常令其监督军事。九节度于相州讨伐安庆绪，大军不置统帅，以朝恩为观军容宣慰处置使。观军容使官名，即从朝恩开始。因功加授左监门卫大将军。当时郭子仪频立大功，当代无人可比，朝恩妒其功高，屡次秘密侦探寻衅。子仪悉心侍奉皇上，毫不介意。幸肃宗英明颖悟，特别明察其心意，故朝恩的离间未能得逞。自从相州战败后，史思明再度攻陷河洛地区，朝恩常统领禁军镇守陕州，以殿卫中原。广德元年(763)，吐蕃入侵京辅地区，代宗出巡陕州。当时禁军溃散不集，于是征召离散之众，待到华阴，朝恩大军遽然前来迎接侍奉，六军士气方振。从此代宗深为宠信，更号天下观军容宣慰处置使。当时四方不宁，万事繁乱，皇上留意有功之臣，朝恩掌管神策军，出入宫禁中，赏赐无法计算。

朝恩生性平庸顽劣，依仗功勋自夸，肆无忌惮。时常招揽迂腐儒生及轻薄文士至其门下，讲授经书史籍，写作文章，粗能提笔解说其意，就在朝中官吏间说大话，自以为有文武才干，以此博取皇帝恩宠。皇上优礼相待，加官兼任国子监事，及光禄、鸿胪、礼宾、内飞龙、闲厩等使。赴国子监任职，皇帝特诏宰相、百官、六军将军送其升任，京兆府准备饮食，教坊赏赐舞乐。大臣群官二百多人，皆着原职礼服充当附学生员，列队立于国子监廊下，待诏给予万贯钱做饮食之本，用以准备附学生员的伙食。朝恩专横跋扈，索取无厌，凡有章奏，期在必允，宠幸大臣中无人可比。

大历二年(767)，朝恩献出通化门外旧赐庄舍建寺庙，以替章敬太后祷祝冥福，于是请求以章敬为寺名，然后动工兴建，穷极壮丽。因京城中原料木材不足所需，便奏请拆毁曲江亭馆、华清宫楼观以及百官行署、将相没收入官之宅第以供其用，土木工程所费，几逾万亿。大历三年(768)，攘兼国子监事，晋爵韩国公。章敬太后忌日，百官在兴唐寺礼佛行香，朝恩在寺外车坊中摆设斋饭，请宰相百官就食。朝恩恣意谈论时政，公卿大臣皆极惊恐。户部郎中相里造、殿中侍御史李絗以正理驳斥之，朝恩不快，便草草散会。

后曾在国子监祭祀先师，宰相百官皆会聚一堂，朝恩讲解《易经》，以阐释鼎卦“覆饣束”之意，讥讽元载，元载心怀怨恨，暗中谋划除掉他。代宗因朝恩太专横，也极憎恶。元载想窥便利之机，巧妙伤害他，便任心腹崔昭为京兆府尹，窥察朝恩出处行踪。崔昭不吝惜财物，暗中与朝恩党羽陕州观察使皇甫温相结交，温与昭和睦相协，从此朝恩一举一动，元载都知道，事无巨细均告知皇上。皇上更加愤怒，朝恩却未觉察，日益骄横。元载奏请增加朝恩食租封户，又提高皇甫温之权势地位，以放纵其私欲。