不预谋者,则睚眦曰:“天下之事,岂不由我乎?”于是帝恶之。而朝恩幼子令徽,年十四五,始给事于内殿。帝以朝恩故,遂特赐绿。未浃旬月,同列黄门位居令徽上者,因叙立于殿前,恐其后至,遂争路以进。无何,误触令徽臂。乃驰归,告朝恩,以班次居下,为同列所欺。朝恩怒,翌日,于帝前奏曰:“臣幼男令徽,位居众僚之下,愿陛下特赐金章,以超其等。”不言其绯而便求紫。帝犹未语,而朝恩已令所司,捧紫衣而至。令徽即谢于殿前。帝虽知不可,强谓朝恩曰:“卿男著章服,大宜称也。”鱼氏在朝动无畏惮,他皆仿此。其同列黄门,寻逐于岭表。及朝恩被杀,天下无不快焉。(《杜阳杂编》)
接下来,代宗就要解决鱼朝恩的问题了。
此时,宰相元载看出了代宗的心思,于是秘请诛杀鱼朝恩,代宗默许。随后,元载买通了鱼朝恩的左右,去其臂膀。当年寒食节,代宗宴请大臣,结束时,叫鱼朝恩留下议事。四目相对,代宗说了一句话:“鱼大人之跋扈,不亚于李辅国啊。”
一句话把鱼朝恩吓坏了,知道事情不妙,但已经晚了,左右一拥而上,顷刻间被绞杀。值得一提的是,当初,李辅国叫手下慕容将作怪的白玉辟邪捣碎,而那慕容知辟邪为宝物,就私自留了两盒白玉辟邪的粉末。后来,此事被鱼朝恩得知,于是花三十万钱买下,很快祸亦及身。当然,这只是一种传说。