诗题点明是乘舟停宿桐庐江的时候，怀念扬州(即广陵)友人之作。桐庐江为钱塘江流经桐庐县一带的别称。“山暝听猿愁，沧江急夜流。”首句写日暮、山深、猿啼。诗人伫立而听，感觉猿啼似乎声声都带着愁情。环境的清寥，情绪的黯淡，于一开始就显露了出来。次句沧江夜流，本来已给舟宿之人一种不平静的感受，再加上一个“急”字，这种不平静的感情，便简直要激荡起来了，它似乎无法控制，而像江水一样急于寻找它的归宿。接下去“风鸣两岸叶，月照一孤舟。”语势趋向自然平缓了。但风不是徐吹轻拂，而是吹得木叶发出鸣声，其急也应该是如同江水的。有月，照说也还是一种慰藉，但月光所照，惟沧江中之一叶孤舟，诗人的孤寂感，就更加要被触动得厉害了。如果将后两句和前两句联系起来，则可以进一步想象风声伴着猿声是作用于听觉的，月涌江流不仅作用于视觉，同时还有置身于舟上的动荡不定之感。这就构成了一个深远清峭的意境，而一种孤独感和情绪的动荡不宁，都蕴含其中了。
诗人之所以在宿桐庐江时会有这样的感受，是因为“建德非吾土，维扬忆旧游。”建德当时为桐庐邻县，这里即指桐庐江流境。维扬，扬州的古称。按照诗人的诉说，一方面是因为此地不是他自己的故乡，“虽信美而非吾士”，有独客异乡的惆怅;另一方面，是怀念扬州的老朋友。这种思乡怀友的情绪，在眼前这特定的环境下，相当强烈，不由得潸然泪下。他幻想凭着沧江夜流，把他的两行热泪带向大海，带给在大海西头的扬州旧友。
这种凄恻的感情，如果说只是为了思乡和怀友，那是不够的。孟浩然出游吴越，是他四十岁去长安应试失败后，为了排遣苦闷而作长途跋涉的。“山水寻吴越，风尘厌洛京”(《自洛之越》)，这种漫游，就被罩上一种悒悒不欢的情绪。然而在诗中，诗人只淡淡地把“愁”说成是怀友之愁，而没有往更深处去揭示。这可以看作孟浩然写诗“淡”的地方。孟浩然作诗，原是“遇思入咏”，不习惯于攻苦着力的。然而，这样淡一点着笔，对于这首诗却是有好处的。一方面，对于他的老朋友，只要点到这个地步，朋友自会了解。另一方面，如果把那种求仕失败的心情，说得过于刻露，反而会带来尘俗乃至寒伧的气息，破坏诗所给人的清远的印象。