“又政治安定诉讼公平，没有比亲近民众更为重要的，而亲近民众的关键，实在是要选好地方长官。所以黄霸治理颍川累年，杜畿居官河东多载。有的就地加以提拔，有的入朝提高官位。现在官员担任的职务，最好遵照六年的期限，前进一步说，可以显出官员是不是懒惰，后退一步讲，可以保持官员不过分操劳。这样，就可以做到上面没有遗弃贤能，下面没有荒谬官吏，考绩风气通畅，育贤之歌盛行。”
起初，文帝时代，限定年龄到三十岁可以担任郡县官职，六周年才选人替代，刺史有的要十年多。到这时全都改换了，做官的人不拘年长年少，任职以三周年为期满，宋朝的良好政治由此衰落了。
这年，封为吏部尚书。谢庄平时多病，不愿意在吏部任职，他写信给大司马江夏王刘义恭，自己叙说：“两胁间有痞块，大概是与生俱来的，一个月内发作，不少于两三次。每当疼痛到来时逼迫心脏，只剩一口气像线一样细。这病已经患了几年，于是成了痼疾。危重疲困，经常如同行尸。眼睛患病五个月来又不再能够夜坐，总是关着帘幕挡风。昼夜糊糊涂涂，因此不能再朝拜诸王，庆贺吊唁亲友。下官我的小小生命，对于天下来说极为轻微，而在我自己则不能不重视。我家祖辈都寿命不长，已故的高祖四十岁，曾祖三十三岁，已故的祖父四十七岁，下官我新年就三十五岁了。加上疾病这样重，还能再活多久？进入新的一年应当重申以前辞职的请求，因为死亡的威胁而求自保。希望在与皇上陪坐说话时，得到恩赐批准我的请求。”孝建三年（456），因为病多免去官职。
大明元年（457），重新起用为都官尚书。皇上常常亲自处理朝政，恐怕权力转移到大臣手中，因为吏部尚书是官吏选拔的主管者，所以打算削弱它的权势。大明二年，诏令吏部尚书依据郎官分别设置，并且要审察删减闲置部门。又另外诏令江夏王刘义恭说：“吏部尚书历来参与录用、共同选拔人材，确是因为一个人的识见不易辨别协调，再加上与夺的威权不应该让一个人专有的缘故。”于是设置了吏部尚书二人，取消了五兵尚书。谢庄和度支尚书顾觊之一起补了吏部的职位。又调任左卫军，加官为给事中。当时河南献了会跳舞的马，诏令群臣各写一篇赋，谢庄所写的一首极美。又让谢庄作了一首《舞马歌》，令乐府歌唱。