此词上片前五句起笔写人间的清凉世界。吴兴自古以来号称“水晶宫”，多溪流湖泊，每到夏秋时节，十里荷花，满塘莲子，一派“水佩风裳无数”的景色。旧时船首画鹢以骇水神，故船也称为鹢。秋雨潇潇，洒在荷花丛中，清风习习，从白苹洲上吹来，词人的画舫在湖中荡漾，渐渐远去。转瞬间雨停风息，溪上寂静异常，四无人声。皎洁明月倒映于清澈明亮的小溪里，荷面浮动着夜露凝成的水珠。一个“点尘飞不到”的清绝境界！绝无俗世的喧器，也无世间悲欢喜怒种种情绪的困扰，心境可谓清澈。“逸兴横生，痛饮狂吟”的发泄此时变为一种宁静的怅想。于是天人合一，落想天外，引出上片的后五句：银河低垂横跨过夜空，遥想天上的牛郎织女，此刻正两地相思，盼望着七夕重逢，在天上世界里今夕何夕呢？
下片抒写高人情怀。是说自从苏东坡去世之后，再也无人能领略这大自然的美丽景色。语气自负而又矜持，大有与古人以心会心的意味。词人们蓬乱着头发，吟咏秋歌，簪花弄水，在船尾吹起悠扬的笛曲，岁月流逝，如同落叶一般。既然如此，因此不必为区区尘事而烦恼，于是斟满大酒杯，唱一曲醉歌吧。
作者在词序中已经提及，这两次秋游是摹仿李白泛舟采石矶、苏轼泛舟赤壁，这一点值得注意。周密在记述这两次雅游活动时曾这样说：“坡翁谓自太白去后，世间二百年无此乐。赤壁之游，实取诸此。坡去今复二百年矣，斯游也，庶几追前贤之清风，为异日之佳话云。”（《草窗韵语》卷二）正因为追慕苏东坡，所以作者的词中可见多处化用苏轼诗文的地方。在词中有许多的前人成句，而作者却能做到的同已出，不露一丝痕迹，不显一丝造作，自然贴切，这的确是一件易事，从中亦可见作者艺术造诣之深。
这首词的语言平易浅显，流畅明快，没有晦涩难懂的地方。但在可以对仗之处，作者还是雕琢字名，尽量“字字敲打得响”。如“散发吟商，簪花弄水”、“洗玉空明，浮珠沆瀣”等，清人的词话还把它们奉为“工于造句”的典范。
这首词开端即写梅花凋谢“宫粉”状其颜色，“仙云”写其姿质，“雕痕”、“堕影”，言其飘零，字字锤炼，用笔空灵凝炼“无人野水荒湾”句为背景补笔。仙姿绰约、幽韵冷香的梅花，无声地飘落在阒寂的野水荒湾。境界空旷悠远，氛围淡寒。“古石埋香，金沙锁骨连环。”二句，上承“雕”、“堕”，再进一步渲染，由飘落而埋香，至此已申足题面。“金沙锁骨连环”，用美妇人——锁骨菩萨死葬的传说来补足“埋香”之意。黄庭坚《戏答陈季常寄黄州山中连理松枝》诗云：“金沙滩头锁子骨，不妨随俗暂婵娟。”词中用以拟梅花，借指梅花以美艳绝伦之身入世悦人，谢落后复归于清净的本体，受人敬礼，可谓尊爱之至，而哀悼之意亦隐于其中。接下来“南楼不恨吹横笛，恨晓风、千里关山”。三句陡然转折。“不恨”与“恨”对举，词笔从山野落梅的孤凄形象转入关山阻隔的哀伤情怀，隐含是花实际亦复指人之意。笛曲中有《梅花落》。可见，“南楼”句虽然空际转身而仍绾合本题。所以陈洵称赞为“是觉翁（吴文英晚号觉翁）神力独运处”（《海绡说词》）。下边转换空间，由山野折回庭中。“半飘零”三句，当是从林逋《山园小梅》“暗香浮动月黄昏”化出。梅花既落，而又无人月下倚阑赏之，故言“月冷阑干”，与下片“孤山无限春寒”喻意基本相同。下片言“寿阳”，言“孤山”，皆用梅花故实。《太平御览》卷三十《时序部》引《杂五行书》中的记载：“宋武帝女寿阳公主人日卧于含章殿檐下，梅花落公主额上，成五出花，拂之不去，皇后留之，看得几时，经三日，洗之乃落。宫女奇其异，竞效之，今梅花妆是也。”“鸾”是“鸾镜”，为妇女梳妆用镜。“调玉髓”、“补香瘢”，又用三国吴孙和邓夫人的故事。和宠夫人，曾因醉舞如意，误伤邓颊，血流满面，医生说用白獭髓，杂玉与琥珀屑敷之，可灭瘢痕，见唐段成式《酉阳杂俎》前集卷八。这里合寿阳公主理妆之事同说，以“问谁”表示已经没有了落梅为之助妆添色。孤山在今杭州西湖，宋词人林逋曾于此隐居，植梅养鹤，人称“梅妻鹤子”。此处化用数典，另翻新意。分从两方面落笔，先写对逝而不返的落梅的眷恋，再写落梅蓬山远隔的幽索。“离魂”三句，仍与落梅紧紧相扣。“缟衣”与“宫粉”拍合，“溪边”亦与“野水荒湾”呼应。“缟衣解佩”暗指昔日一般情事，寄寓了往事如烟、离魂难招的怀人之思。最后一韵，从题面申展一层，写花落之后的梅树形象。“叶底青圆”四字，化用杜牧《叹花》诗“绿叶成阴子满枝”的词句意，包孕着世事变迁的惆怅与岁月无情的蹉跎。
吴文英在苏州时曾纳一妾，后遣去；居于杭州时又纳一妾，后亡故。联系作者的这些经历，并证以其它词章。后人对这首词虽然褒贬不一，但从总体看来，词中那些似乎不相连属的字面的深层，其实流动着脉络贯通的感情潜流，它们从不同的时空和层面，渲染了隐秘的情事和深藏的词旨，堪称咏物之作的佳品。