诗从眼前的景色写起，再一笔宕开，追忆起昔年游览的情形。“放歌”二字可见当年酣舞狂歌的赏心乐事，此时旧地重游，恰逢惹愁的高秋季节，神往之中隐含着往事不再的悲哀。这一联，一景一情，写诗人初上亭来的所见、所感，并点出时间、地点、事由。
颔联没有续写昔年游览的光景，而是以不尽尽之，把思路从昔年拉回到眼前，承首句写诗人下亭游览时所见的景物。润州系东晋、南朝时的重镇，也是当时士人们嬉游的繁华都会。“青苔”二句，一写先朝遗寺的荒凉冷落，一写河边酒楼盛景依旧，对仗十分工整。从写法上看，本来是寺里长满青苔，桥下荡漾绿水，诗人却故意颠倒语序，把鲜明的色彩放在句头，突出一衰一盛的对比，形象地反映了润州一带风物人情的沧桑变化，这就为下一联抒发思古之情创造了条件。
颈联再转，让思路从眼前出发，漫游时空，飞跃到前代。诗人由眼前的遗寺想到东晋、南朝，又由酒楼想到曾在这里嬉游过的先朝士人，巧妙地借先朝士人的生活情事而寄慨。东晋、南朝的士人，旷达风流曾为一时美谈，可是他们在历史的舞台上都不过是匆匆的过客而已，只留下虚名为后人所企羡。中间两联由览物而思古，充满着物在人空的无限哀惋之意。
诗人似乎长时间地沉浸在遐想中，直到日落月出，江面传来一声愁笛，才把他从沉思中唤醒。诗用“月明”表明时间的推移，以见沉思之久。“更想”的“更”字，则有无限低徊往复多情之意。然而这一联的妙处，尤在其意境的深远。秋夜月明，清冷凄迷，忽然传来《出塞》曲的悲怨笛声，又给诗增添了一层苍凉哀切的气氛。诗人由笛声而更想到东晋“尽一时之妙，为江左第一”的吹笛好手桓伊，他要借桓伊的笛声来传达心中的无限哀愁。丰富的想象，把时隔数百载的人事勾连起来，使历史与现实，今人与古人，眼前的景物与心中的情事，在时空上浑然融成一体。因此，诗虽将无穷思绪以一“愁”字了结，却给人以跌宕回环、悠悠不已之感。 这首诗所抒发的，不过是封建知识分子因不得志所产生的人生无常的悲慨，但在艺术上却很有特色。诗忽而现实，忽而历史，忽而古，忽而今；忽而杂糅今古，忽而为一己哀愁，忽而为千古情事，忽而熔二者于一炉；挥洒自如，放纵不羁，在时空上和感情的表达上跳跃性极大。前人评杜牧的诗“气俊思活”，于此可见一斑。