这是一首感怀境遇身世的悲秋之作。
“垂杨风雨小楼寒”，寒冷的风雨、东摇西摆的垂杨、孤独寂寞的小楼，诗的开始就营造了一派凄清悲凉的气氛。一个“寒”字，不仅交代时令是乍暖还寒的早春，还透露出诗人沐风栉雨时的身寒心也寒。春日西湖，垂杨毵毵，有些风雨，本来可以使湖山增色， “山色空濛雨亦奇”，可是如今这风雨摧折着垂杨，显得十分凄寂。诗人栖身于临时租赁的小楼中，直觉寒气逼人，再加上此时诗人流离失所、穷困潦倒的社会生活，使他不自觉地与宋玉的《九辨》相对照，自然引出“宋玉秋词不忍看”之句。《九辨》的悲秋氛围，《九辨》中宋玉政治上不得志的悲伤，使诗人找到了感情上的契合，惆怅黯然，不忍看。而“不忍看”，首先是无心看。任宋玉的华词丽藻、精思巧构，也激不起鉴赏的兴致。其次，“悲哉秋之为气也，萧瑟兮草木摇落而变衰”容易了触动姜夔自己的愁思——政治上失意，生活上潦倒的伤感。由春风写到秋词，实是为“寒”注明在于“愁”。
“万里青山无处隐，可怜投老客长安。”“万里青山”极言天地广阔，“无处隐”与之形成极大反差。这既切火灾后的无处安身，又暗射天地之大却无容身之地意。隐不得，又归不得。可叹到了垂老之年，还漂泊在京城。而这正是诗人心中致命的隐伤。年已半百，操劳一生，飘零一世，辛辛苦苦，到处奔波，最后却什么都没有得到，连个容身之所都失去了，这真可以说是人生莫大的失败和悲哀了。姜夔自幼随父宦居汉阳。每当他漂泊异乡遇上某种契机，便自然怀乡念旧，“听得秋声忆故乡”，见了春花也思家，在这“风雨满人间”的境遇中，更激起无处安身的悲慨。
这首诗虽然紧切寓所被焚寄居旅舍的事情，实是借此抒发了平生不得安处的感慨。姜夔词名盛于诗，而诗之高妙有时实不在词下。因他不仅有诗的写作实践，且有理论概括，著有《白石道人诗说》。即如此篇，一、三两句语意径直，但不致“雕刻伤气，敷衍露骨”，乃在于第二句力挽第一句之意，尤其末句的一“老”一“客”两意，把第三句的从空间上说的意思更为深进，确乎做到了“小诗精深，短章蕴藉”、“篇终出人意表”，因而通篇血脉贯通，韵味丰赡。
诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。