可是，家族的荣光他没分享到，家族的厄运他却逃不过。受族兄杨神让牵连被贬官之前，杨炯正在经历一生中难得的官运上升期。他10岁应童子举及第，11岁待制弘文馆，就是在弘文馆等待任命。这一等就是16年，朝廷早把这个神童遗忘了。到27岁时，杨炯再次应举，才补了个校书郎的小官。30岁以前，他不满现状，说自己“二十年而一徙官”，说官场倾轧，有志难抒，并发出“宁为百夫长，胜作一书生”的呼喊。但31岁时，他时来运转，被推荐为太子詹事司直，还充任崇文馆学士，开始仕途的一大跃升。仅仅3年后，这个素少往来的族兄，却把他的余生带进了沟里。
在梓州4年任期满后，杨炯去了洛阳。出川途经巫峡，他写诗表达个人的追求和品性：
忠信吾所蹈，泛舟亦何伤。
可以涉砥柱，可以浮吕梁。
美人今何在，灵芝徒有芳。
山空夜猿啸，征客泪沾裳。
此时的杨炯是否会感激厄运提升了他的诗风，造就了另一个他呢？我们不得而知，但苦难出诗人，似乎是一个残酷的真理。归来后的杨炯，不再汲汲于官场的得失，而是成了帝国政坛中的一个毒舌。
他官小位卑，朋友劝他谨言慎行，免得祸从口出，他却毫不在意。他曾当场对那些尔虞我诈、道貌岸然的朝廷官员进行冷嘲热讽，说你们都是“麒麟楦”。别人问他，“麒麟楦”是什么东西？杨炯便给他们解释说，你们在会聚饮宴之时，都看过玩耍麒麟的把戏吧？事先做好一件有头有角的麒麟皮，蒙在毛驴身上，扮成麒麟巡场奔跑。等到揭下那层皮，底下不过是一头蠢笨的毛驴。那头蠢笨的毛驴，就叫“麒麟楦”。官员们恍然大悟，原来杨炯是在用这个词骂我们啊！杨炯接着讽刺说，那些无德无才而身穿朱紫官服的人，跟毛驴披上麒麟皮又有什么区别呢！