除了张弘靖、韦贯之两人以外，其余那些“素恶居易者”是些什么人?因为什么“素恶”?白居易为什么得罪了他们?这就要从白居易的有名的诗歌说起。他在《与元九书》中明确提出“文章合为时而著，歌诗合为事而作”，并在他创作的实践中加以实现。他在元和初年，写下了大量的反映现实生活的著名诗篇，用诗歌作为武器来揭露社会黑暗，反映民生疾苦，使得当权者有所警惕，在政治上有所改革，人民的痛苦有所减轻。正是这个缘故，得罪了“权豪贵近”“执政柄者”“握军要者”，招致了许多人的非议和不满。这些人暗中怀恨在心，等待时机，对他或施明枪，或射暗箭;但因这时白居易正在皇帝跟前做翰林学士，虽“为奸人所排陷”，但有一道护身符保护，对他也莫可奈何，无从下手。而到元和十年，盗刺宰相这一公案发生时，白是一名闲官，不仅没有保护伞，而且曾经信任他的那位皇帝，对他的“直言极谏”早已厌烦了。这时，白居易的敌手们看见有机可乘，便一窝蜂地、集中火力对准他开炮，一个罪名不够，加一个，再加一个，必置之死地而后快。
这几年里，执政柄、握军要、掌大权的，具体是什么人呢?
元和三至五年，三公中，杜佑是勋旧贵戚，时年已七十多犹掌朝政。白居易在《秦中吟》第五首《不致仕》中对于七十以上高龄而贪恋禄位、不肯致仕(退休)的大官僚，讽刺备至，遭到杜佑(及其子孙和门生故吏)之忌，自是意料之中事。于是贞元末、元和初极为专横的一个方镇，《旧唐书》本传说他“公然聚敛，恣意虐杀，专以凌上威下为务”，德宗对他亦无可奈何。
对于这种人，白氏是深恶痛绝。元和三年九月，曾向宪宗上奏《论于裴均状》，论其三不可，之后，又有《论于所进歌舞人事家状》，揭露于的丑恶。这两次劝谏自然会遭到于的嫉恨，于和他的党羽打击白氏，当然是十分可能的。其次宰相中的李吉甫和度支使中的裴均，也都是白氏的对手，这些人的党羽，一直在朝掌权，“素恶居易者”之中，这些人和他们的党羽自然也包括在内。至于一直被皇帝信任、统率禁军的宦官吐突承璀，正是白居易在诗中斥责的“中尉”。元和十年，吐突承璀还在掌权，他不趁机报复，才是怪事呢!还有一个落井下石的中书舍人王涯，不顾公理私谊，反而恩将仇报，狠狠地在白氏头上抛下一块石头!