颔联写友人困顿坎坷，仍眷恋朝廷。“罢归”“老去”指出将军“流落”之因，“归无旧业”说明题目的“襄州”，仅家徒四壁而已。也暗示其人一心戎马，为国征战不解营生。在“古木苍苍离乱后，几家同住一孤城”（《新息道中作》）的时代，老去投归，景况可想。两句上二下三，前后转折，意义上中间含个“而”字在，顿挫而沉郁，有杜诗风神。所谓“明时”，实则为作者对时局的微词。戎马一生、屡树战功的将军，却被罢斥，足见朝廷之“不明”。两句为对文，作互文看更有慨触。次句语由直寻，羌无故实，但“老去”犹“恋”，则使人不能不想起廉颇老矣还希重用的史实，而同情这位被迫退职的军人。
颈联两句又荡回过去，承“曾驱”来，追忆将军昔日独镇“三边”（泛指边防），敌寇生畏，关塞晏然，有功于国。次句为“一剑知轻生”的倒句。“一剑知”，意谓奔勇沙场，忠心可鉴，此外，出生入死，效命疆场，也只有随身伙伴——佩剑知道。有感于时局不明，焉得逢人而语，这是感慨系之的话。两句字斟句酌，句凝字稳。谓语“静”“知”殿在句后，以示其人的功业与赤心。独静三边，为国轻生，以示“罢归”，尚非其时。
以上六句都可视为挥手别后所思，尾联“茫茫江汉上，日暮欲何之”结到眼前，以实景束住，念及其故居旧业无存，因此有“欲何之”的忧问。既罢归而无所可去，伤其恓惶流落，老而不遇。这末尾回首一问，既关合“罢归”句，又与起手“流落”语意连成一片。日暮苍苍，汉水茫茫，老将白发，归去何方。沉沉暮色吞去了一片孤帆，茫茫汉江也似乎吞没了诗人关照的疑问，“欲何之”的关注之情，也使人思绪波荡，触动读者深切的寻思和悬念。