汲黯是西汉武帝时代人，以刚直正义、敢讲真话而受人尊重。他为人和做官都不拘小节，讲求实效。虽然表面上不那么轰轰烈烈，却能把一个郡治理得井井有条，因此，朝廷把他从东海太守调到朝廷当主爵都尉——一种主管地方吏任免的官职。
有一次，汉武帝说要实行儒家的仁义之政，为老百姓办好事了。没等皇帝把话说完，汲黯就说：“陛下内心里那么贪婪多欲，表面上却要装得实行仁政，这是何苦呢？”一句话把皇帝噎了回去。汉武帝登时脸色大变，宣布罢朝，满朝文武都为汲黯捏着一把汗，担心他会因此招来大祸。武帝回到宫里以后，对身边的人说，汲黯这个人也未免太粗太直了。
从此以后，汲黯的官职再也没有提升。他当主爵都尉的时候，公孙弘、张汤都还是不起眼的小官，后来，他们一个劲儿住上升，公孙弘当上了丞相，张汤做上了御史大夫，可他汲黯还蹲在原地没动窝。有一天，汲黯对武帝说，陛下使用群臣，跟码劈柴一样，是“后来者居上”啊！汉武帝当然听得出这是发牢骚。于是，转脸对臣下们说：“人真是不能不学习啊！你们听汲黯说话，越来越离谱了！”
成语出自 《史记·汲郑列传》。成语“后来居上”，往往指后起的可以胜过先前的。和汲黯说这话的原意，大不相同。