张九龄当宰相的时候，尽心尽力辅佐唐玄宗，以正直著称。然而，有两件事使玄宗对张九龄不能容忍，再加上李林甫的挑拨，玄宗最终罢免了张九龄的宰相职务，并贬出朝廷。
这就是牛仙客事件和严挺之事件。
牛仙客担任河西节度使时，政绩显著。玄宗很赏识，想给牛仙客加官为尚书。张九龄不同意，他说：“尚书是古代负责向皇帝提建议的大臣，牛仙客出身河湟小吏，一下子提拔为朝廷要职，会影响朝廷的声誉。”玄宗又问：“只给牛仙客加个爵位可以吗？”张九龄仍然反对，说：“爵位是对立功者的鼓励，作为边将使仓库充实，器械修整，都是分内事，不算立功。如果陛下认为他工作勤劳，可以赏赐金帛，而分封土地，赐给爵位，极不合适。”玄宗心里十分不舒服。李林甫跟玄宗说：“牛仙客有宰相之才，给他个尚书称号有何不可！张九龄所说全是书生之见。”玄宗觉得李林甫说得对。
第二天，玄宗又提起封牛仙客爵位，张九龄仍然极力反对。玄宗说：“你嫌牛仙客出身寒微，你的门第也不高啊！”张九龄说：“我家在岭南，出身低贱。但是我出入朝廷，职掌诰命已经多年。牛仙客出身边境小吏，大字不识，如果一下子提拔为高官，众人会轻视朝廷。”李林甫又跟玄宗说：“只要有才能见识，要什么学问才华！天子用人，什么样的人不能用！”有了李林甫的赞同，玄宗不顾张九龄的反对，赐给牛仙客陇西县公的爵位。
张九龄与严挺之关系好，想举荐严挺之为宰相，曾经告诉严挺之，跟李林甫搞好关系。严挺之为人清高任性，从不到李林甫门上去。这些都使李林甫怀恨在心。
严挺之前妻嫁蔚州刺史王元琰，王元琰犯了贪污罪，朝廷交刑部、御史台和大理寺会审。严挺之看在前妻的情分上，为王元琰托人说情，希望能宽大处理。李林甫抓住了把柄，让手下的人告发此事。
玄宗觉得既然严挺之为王元琰说情是事实，那么张九龄明显是袒护严挺之。考虑到张九龄、裴耀卿和严挺之常常互相声援，认定他们结成了朋党。开元二十四年（736年）十一月，玄宗罢免了裴耀卿和张九龄的宰相职位。张九龄曾推荐周子谅任监察御史。张九龄罢相后，周子谅弹劾牛仙客不胜任宰相，但理由荒唐。玄宗亲自审问，把他流放。张九龄也因用人不当而受到牵连。于是，张九龄被贬为荆州大都督府长史，他的政治生命基本结束。