在主理朝政时敢于直言向皇帝进谏，多次规劝玄宗居安思危，整顿朝纲。玄宗的宠妃武惠妃，欲谋废太子李瑛而立己子时，命宫中官奴游说九龄，九龄叱退使者，及时据理力争，从而平息了宫廷内乱稳定了政局。而对安禄山、李林甫等奸佞所为，张九龄更痛斥其非，并竭力挫败其阴谋。
玄宗欲以范阳(今北京)节度使张守圭为相，以朔方(今宁夏灵武南)节度使牛仙客为尚书，九龄都反对，玄宗不悦，唐玄宗被李林甫的谗言所惑，玄宗遂于开元二十四年迁九龄为尚书右丞相，罢知政事。罢相后不久又因他荐举的监察御史周子谅弹劾牛仙客，触怒玄宗，坐“举非其人”，贬为荆州长史。
开元二十四年(736)，安禄山任平卢将军，在讨伐契丹时失利，张守珪奏请朝廷斩首。此前安禄山入朝奏事，宰相张九龄对侍中裴光庭说：“乱幽州者，必此胡也。”这次作战失利，他遂提笔批示奏文说：“穰苴出军，必斩庄贾;孙武行令，亦斩宫嫔。守珪军令若行，禄山不宜免死。”唐玄宗不明华夷之辨，看了批文后说：“卿岂以王夷甫识石勒，便臆断禄山难制耶?”终未准奏。
之前，安禄山曾入京朝见，拜见过时任宰相的张九龄。张九龄颇有识人之道，明察秋毫，看出安禄山是奸诈之徒，断定日后此人必会作乱。此次适逢安禄山干犯军法，被押送京城，奏请朝廷判决。张九龄毫不犹豫在奏文上批示，为严肃军纪，将安禄山斩首。可惜，唐玄宗没有最终批准，却为示皇恩，将安禄山释放。最终安禄山反叛，重演了西晋末年，羯族石勒反晋乱华的一幕。
在他死后不久，曾被其断言“必反”的安禄山果然掀起了“安史之乱”，从而导致唐朝迅速从“全盛”走向没落。唐玄宗奔蜀，因追思张九龄的卓见而痛悔不已，遣使至曲江祭九龄。