挤走了夏言，严嵩仍不罢休，在宫中放出谣言称夏言离朝时愤愤不平，大骂嘉靖帝出尔反尔。谣言传到嘉靖帝耳朵里，嘉靖帝甚为恼怒。事有凑巧，嘉靖二十七年九月，俺答汗率军进扰宣府，直逼北京，嘉靖帝疑心这定是夏言、曾铣提出收复河套招来的报复，遂将曾铣打下监狱。曾经支持夏言、曾铣的官员或贬官，或夺俸，或廷杖，还要将夏言收监审理。
墓地
蜈蚣害鸡有天意?在上清镇桂洲村采访时，当地村民都对夏言的功绩赞不绝口，但也有不少村民，包括夏龙太在内都认为夏言遭严嵩的迫害是天意。
夏龙太说，桂洲村村头仙人山上有个庙堂。当年，庙里人养了一只大雄鸡，而山上还有一只大蜈蚣，每天雄鸡和蜈蚣都要打上一架。有一天，老和尚要出远门，告知徒弟自己不知多久才能回来，便交代徒弟：雄鸡和蜈蚣迟早会互相斗死，因此要徒弟在雄鸡死后必须在鸡头上斩上一刀，埋葬在下山路的右边，而蜈蚣则埋在下山路的左边。结果徒弟忘了斩上一刀，而且位置埋反了，导致雄鸡和蜈蚣都转世，一直斗到京城。这雄鸡就是投胎的夏言，而蜈蚣则是严嵩。
传说猜测
夏龙太这个传说的真实性无从得到考究，但熊长胜在他所写的历史故事里却写道，夏言小时候看戏都是独脚站立着看的，头还喜欢往侧边或后面察看，所表现的动作确实跟鸡差不多。
夏言墓地达百座
在鹰潭3555.4平方公里的版图上，自古以来官位最高的，当数贵溪籍(今属龙虎山风景名胜区)夏言。在明代，夏言官至朝廷首辅，相当于一人之下万人之上的宰相。然而，这位让当地人长期景仰的首辅却遭到严嵩的迫害，最后客死他乡。近日，记者前往夏言故里泥阳镇(今龙虎山风景区上清镇)桂洲村采访，了解到不少连当地史志都未曾记载的传奇故事。 传说资料
夏言死后，嘉靖帝慢慢后悔起来。上清镇桂洲村第一小组67岁的夏龙太对记者说，嘉靖帝有后悔之意时，命人将夏言之首称了一称，发现有5斤4两，遂命人用金子铸成5斤4两重夏言的头，置备100副棺材，其中只有1副装有夏言金首，分于全国各地 100处埋葬，葬后还将所有送葬者杀死。因此，截至目前，上清镇甚至贵溪大部分地区的人们买菜砍肉都没有5斤4两的概念，也很忌讳5斤4两的说法，如果遇到5斤4两时，人们都会非常自觉地要么以5斤3两成交，要么以5斤半成交。
熊长胜说，直到很久后，后人才在上饶市郊发现夏言墓的真实所在地。