武则天执政初期，举国清查，清理威胁新皇权的力量。这一查，倒霉就如霜陡降、如雪骤下的降临到正春风得意的杨炯头上。他因堂弟犯事，被贬离京城，去一个遥远的四川梓州地方任职。也许是武则天惜才，才没有杀他的头。在与京城挥手告别时，杨炯的心里不是个滋味，想想自己正是风华正茂，因间接政治牵连，而莫名失官，虽然途中景色迷人，可他怎么也开心不起来。
692年农历七月十五日，杨炯向武则天献上《盂兰盆赋》一文，武则天看后，在皇宫里召见杨炯说：“你呈上的这篇赋，文词极为华丽，结构合理，对仗工整，平仄标准，不愧为大唐文场的领导者和主将，吾大周第一才子，四杰之首啊！”
杨炯说“陛下过奖了，这是陛下恩德于民，才有盂兰盆节上华丽的景致，我才能写出这篇文章。”
武则天又说：“爱卿，你梓州任期已满，想让你官复原职，不知你意下如何？”
“陛下不可。”
“这又为何？”
“臣不愿在朝中见到那些‘麒麟楦’，在梓州我有广阔创作题材，想好好干一番事业，为一方百姓造福，以报陛下不杀之恩，望陛下恩准。”杨炯性情耿直，恃才倨傲，看不惯朝中许多事情。传说，有个人问杨炯，“每见朝官，目为麒麟楦”，怎么像麒麟楦呢？他回答说，就像戏里的麒麟，哪里是麒麟，只不过是一头驴子，刻画头角，修饰皮毛，看起来像麒麟，脱了马甲，还是一头驴子。他觉得这些话还不过瘾，又补了一句，那些没有德行学识的家伙，披着朱紫色的朝服，和驴身覆盖麒麟皮，又有什么区别呢？这些含沙射影的话，让那些趾高气扬、矫揉造作的大人们听了，自然忌恨了。妒忌他的才华，对他的行为心存偏见，对他进行了种种攻击和诋毁，使得他心存怨望，对民间疾苦和社会不公的切肤之痛，更使他的文章多了一份不平之气。也许真的是性格决定命运，细节决定成败，在仕途上，他一直蹇滞不畅。