“寒梅最堪恨，长作去年花。”三、四两句，诗境又出现更大的转折。面对姹紫嫣红的“物华”，诗人不禁想到了梅花。它先春而开，到百花盛开时，却早花凋香尽，诗人遗憾之余，便不免对它怨恨起来了。由“向物华”而忆梅，这是一层曲折;由忆梅而恨梅，这又是一层曲折。“恨”正是“忆”的发展与深化，正像深切期待的失望会转化为怨恨一样。
但这只是一般人的心理。对于李商隐来说，却有更内在的原因。“寒梅”先春而开、望春而凋的特点，使诗人很自然地联想到自己：少年早慧，文名早着，科第早登;然而紧接着便是一系列不幸和打击，到入川以后，已经是“克意事佛，方愿打钟扫地，为清凉山行者”(《樊南乙集序》)，意绪颇为颓唐了。这早秀先凋，不能与百花共享春天温暖的 “寒梅”，正是诗人自己的写照。诗人在《十一月中旬扶风界风梅花》诗中，也曾发出同样的感叹：“为谁成早秀?不待作年芳。”非时而早秀，“不待作年芳”的早梅，和“长作去年花”的“寒梅”，都是诗人不幸身世的象征。正因为看到或想到它，就会触动早秀先凋的身世之悲，诗人自然不免要发出“寒梅最堪恨”的怨嗟了。诗写到这里，黯然而收，透出一种不言而神伤的情调。
五言绝句，贵天然浑成，一意贯串，忌刻意雕镂，枝蔓曲折。这首《忆梅》，“意极曲折”(纪昀评语)，却并不给人以散漫破碎、雕琢伤真之感，关键在于层层转折都离不开诗人沉沦羁泊的身世。这样，才能潜气内转，在曲折中见浑成，在繁多中见统一，达到有神无迹的境界。