接下去“生怕离怀别苦”数句，说出愁的原因，点明题旨。丈夫临走前，本来有许许多多的心事待向他诉说，可是一想到说出来会增添他的烦恼，会影响他的行程，所以话到嘴边又咽了回去。“多少事、欲说还休”一句，与孙夫人《风中柳》词“怕伤郎、又还休道”同意。欲说又不忍说，甘愿把痛苦埋藏在心底，由自己默默忍受，其对丈夫的挚爱深情，于此隐然可见。“新来瘦，非干病酒，不是悲秋”三句，写近来自己因即将到来的离别而日形消瘦，但却不直接说出，而是用“排他法”否定可能导致瘦的其他原因。这就避免了正面用笔的直露，给读者留下了驰骋想象的空间。既不是因为“日日花前常病酒”(冯延巳《鹊踏枝》)而瘦，也不是因为“悲哉秋之为气也!萧瑟兮草木摇落而变衰”(宋玉《九辩》)而瘦，那么究竟因何而瘦，也就足可引人深思了。《草堂诗余》正集卷三谓：“瘦为甚的，尤妙。”恐怕也就妙在以反说正、以不答而答上。
下片先是接写去者难离之苦，然后用一“念”字领起，设想别后情形。
换头一句采用叠字以加重语气，极写词人留人不住的失望之情。“休”，犹罢了、算了的意思。“这回去也，千万遍阳关，也则难留。”表明今朝去意已决，再难挽留。“阳关”，即《阳关三叠》，送别时所唱之曲。尽管伤离之曲唱了千遍万遍，但是去的终究要去，苦苦挽留也徒劳无益。于是很自然地由眼前的离别推想到别后的情形。
“念武陵人远，烟锁秦楼”两句，运用了两个典故，传达出丰富的感情信息。就“武陵人”的辞面来说，有两层含义：一是指陶渊明《桃花源记》中的以“捕鱼为业”的武陵人;二是刘义庆《幽明录》中的刘晨、阮肇。唐吾涣《惆怅》诗：“晨肇重来路已迷，碧桃花谢武陵溪。”和凝《天仙子》词：“桃花洞，瑶台梦，一片春愁谁与共。”韩琦《点绛唇》词：“武陵凝睇，人远波空翠。”都是借刘晨、阮肇天台遇仙故事写男女相恋之情。易安此词以“武陵人”拟明诚，其实也就是用阮肇或刘晨来拟明诚，言外有“桃溪不作从容住”(周邦彦《玉楼春》)之怨意，正所谓“辞之中又有辞焉”。“秦楼”，即凤台，是秦穆公女儿弄玉与仙人萧史飞升前所住的地方。这里借指词人自己的居处，并与《凤凰台上忆吹箫》这一词调相扣合。《孤雁儿》中有“吹箫人去玉楼空”句，与“武陵人远”两句意思相近。不过《孤》词是说丈夫已经亡故，而此词是说丈夫离家远行。