但是，自己下野的身份，茅舍卜居的环境毕竟是远离了政治中心，他此时的所志所适，也惟有闲逸而已，因此最后二句自然地归结到闲情上：“何物最关情，黄鹂三两声。”作者自问自答，写得含蓄而余韵悠长。据冯贽《云仙杂记》引《高隐外书》云：“戴颐携黄柑斗酒，人问何之，曰：往听黄鹂声。此俗耳针砭，涛肠鼓吹，汝知之乎?”可见王安石的寄情黄鹂。不仅要表现在鸟语花香中的闲情逸趣，更是显示自己孤介傲岸、超尘拔俗的耿直人格。
在安逸澹淡的生活情景中寄寓着政治家的襟怀心志，在闲雅流丽的风调里显示着改革家的才性骨力。素洁平易而又含蓄深沉是这首词的基本特色，虽是集句，也体现了王安石词“一洗五代旧习”(刘熙载《艺概-词曲慨》)的创作个性。
但是，这首词最值得称道的是集诗句为词这一艺术形式。这是王安石的发明。唐人丰富的诗歌遗产，成了王安石现成的词句，除了第三句取自唐人殷益的《看牡丹》外，其余亦多出自唐诗，第一句用的是刘禹锡《送曹璩归越中旧隐诗》：“数间茅屋闲临水，一盏秋灯夜读书。”第五句的出处是韩愈的《南溪始泛》：“点点暮雨飘，梢梢新月偃。”第六句来自方械的诗(失题)：“午醉醒来晚，无人梦自惊。”如此信手拈来，随意驱策，使之协律人乐，变诗为词，确实体现了作者学富才高的创作功力。这首集句词的成功更重要的还是作者用前人的诗句创造出自己心中的意境，为自己表情达意服务，并通过自己的精心组合安排，使之浑然无迹，如同己作。