此诗可分三部分。前六句为一部分，描写诗人汉江泛舟和登江中孤屿的情景。先写潮水退后，清悠悠的汉水中，小岛显得更加突兀。这两句诗扣题面而不直接写登孤屿，而只以“水落沙屿出”暗示。紧接着重写汉江：大石下的回水潭，深不可测。岸边的翠竹，密密匝匝。传说中的鲛人，潜伏在水中。江上的渔父唱着歌儿，怡然自得。张华《博物志》载：“南海外有鲛人，水居如鱼，不废绩，其眼能泣珠。”诗人将汉江、汉江两岸的景色、传说中的鲛人、江上的渔父交织在一起，多角度地表现汉江的神奇美丽。既写游汉江，同时也为后文回忆与王迥泛舟作铺垫。
第二部分共四句，回忆与王迥游江和登江中孤屿。诗兴非一，兴致无穷，不一而足，由于有第一部分作铺垫，这里只以“夕阳”一句景语，“中坐”一句情语，就将两人一起游览的情景，清晰地展现在眼前。
最后两句为第三部分，抒写诗人对王迥的思念。因为思念王迥，遥望王迥住的鹿门山；回到家中，仍然怅然若失。诗以美丽的汉江为背景，以游汉江为情节，把相思的感情通过具体的生活抒写出来，真挚而又绵长。结构上以游汉江开始，以归家作结，中间插入一次游汉江的回忆。全诗浑然一体，一气呵成，如同一篇优美的抒情散文。
此诗开头四句由傍晚登临纵目所见，引起对历史及现实的感慨。人们在登高临远的时候，面对寥廓江天，往往会勾起对时间长河的联想，从而产生古今茫茫之感。这首诗写登楼对景，开篇便写河中百尺危樯，与“烽火城西百尺楼，黄昏独坐海风秋”（王昌龄）、“城上高楼接大荒，海天愁思正茫茫”（柳宗元）等写法异曲同工。以“高标出苍穹”（杜甫）的景物，形成一种居高临下、先声夺人之感，起得气势不凡。此句写站得高，下句则写看得远：“汀洲云树共茫茫。”苍茫大地遂引起登览者“谁主沉浮”之叹。遥想汉武帝刘彻“行幸河东，祀后土”，曾作《秋风辞》，中有“泛楼船兮济汾河，横中流兮扬素波，箫鼓鸣兮发棹歌”之句。（《汉武故事》）所祭后土祠在汾阴县，唐代即属河中府。上溯到更远的战国，河中府属魏国地界，靠近魏都安邑。诗人面对汀洲云树，夕阳流水，怀古之幽情如洪波涌起。“汉家箫鼓空流水，魏国山河半夕阳”一联，将黄昏落日景色和遐想沉思溶铸一体，精警含蓄。李益生经战乱，时逢藩镇割据，唐王朝出现日薄西山的衰败景象，“今日山川对垂泪”（李益《上汝州郡楼》），不单因怀古而兴，其中亦应有几分伤时之情。
后四句由抚今追昔，转入归思。其前后过渡脉络，为金圣叹所拈出：“当时何等汉魏，已剩流水夕阳，人生世间，大抵如斯，迟迟不归我为何事耶？”“事去千年犹恨速”一句挽结前两句，一弹指间，已成古今，站在历史高度看，千年也是短暂的，然而就个人而言，则又不然，应是“愁来一日即为长”。“千年犹速”、“一日为长”似乎矛盾，却又统一于人的心理感觉，此联因而成为精警名言。北宋词人贺铸名作《小梅花》末云：“遗音能记秋风曲，事去千年犹恨促。揽流光，系扶桑，争奈愁来一日却为长！”就将其隐括入词。至此，倦游思归之意已水到渠成。“风烟并是思归望，远目非春亦自伤。”非春已可伤，何况春至。无怪乎满目风烟，俱是归思。盖“人见是春色，我见是风烟，即俗言不知天好天暗也。唐人思归诗甚多，乃更无急于此者”（金圣叹语）。
陈维崧作此调呈送芝麓先生共二首，这是第一首。芝麓，即龚鼎孳，字孝升，号芝麓，安徽合肥人。明崇祯进士，授兵科给事中，累官御史。清顺治初以原官起用。康熙年间官至礼部尚书。芝麓工于诗词，与吴伟业、钱谦益齐名，并称为“江左三大家”。陈维崧与他交游唱和甚多。龚鼎孳接读这二首《贺新郎》词后，随即用原韵作《贺新郎》(和其年秋夜旅怀韵)二首。这对于理解本词是很有益处的。
这首词是作者旅居京华时所作。在一个孤寂的秋夜，他独自倚靠着窗帘眺望着京城帝王的宫楼，不由牵动起心中的悲歌，但他没有直接倾吐，而是寓情于景。开头“掷帽”三句，写夜中眺望京城的情景。“凤城”，谓帝都，此指北京。“一片玉河桥下水”三句承上写天空与地面的景色而插入怀古之情。“玉河”，在北京城西，源出玉泉山，流经大内出都城东，故亦称为御河。在秋夜月光的映照下，玉河的水面显得格外的清澈明亮。这里用王昌龄《出塞》诗“秦时明月汉时关，万里长征人未还”中的成语，注入怀古之情，构成雄浑的独特词境。陈廷焯《词则·放歌集》卷五评点说：“插入吊古，极见精神。”
“我在京华沦落久”两句，由景及情。“吴盐”，唐肃宗时盐铁铸钱使改变盐法，所煮盐以洁白著名。后称两淮生产的盐为吴盐。周邦彦《少年游》：“并刀如水，吴盐胜雪，纤指破新橙。”这里是写自己沦落京华多年，抑郁不得志，一腔愁恨已化为点点白发。正如龚鼎孳《贺新郎》词中所写：“羁宦薄游俱失意。”点出了失意的心态。“家何在”两句以思归收束上片。“天末”，即天边。饥驱四方的潦倒境遇，使他更加思念自己的故乡。然而身居千里之外，遥望家乡，远在天边。“家何在？在天末。”这是词人心灵痛苦的呼唤。
下片“凭高对景”三句，由眼前实景宕开，现实的失意和悲愤，使词人的思维追踪到千年前的历史人物。“燕昭乐毅”，战国时的著名人物。燕昭，即燕昭王，曾招纳贤士，师事郭隗，而天下之士争相奔从。乐毅自魏至燕，与燕人同甘共苦，燕国日益富强。后以乐毅为上将军，与秦、楚、赵、韩、魏合力攻齐，攻下了齐国都城临淄。事见《史记·燕召公世家》。故这里称他们为“一时人物”。下面“白雁横天”三句既点出时令季节，又承上抒写。“白雁”，白色的雁。据宋彭乘《续墨客挥犀》卷七：“北方有白雁，似雁而小，色白，秋深则来。白雁至则霜降。”深秋季节，北方一群群白雁飞来，发出一阵阵似响箭般的叫声，似乎呼叫着大地上被江山所磨灭的古今豪杰。词人融情于景的心意，龚鼎孳在《贺新郎》和词中指出：“只有穷交堪对酒，况是江东人杰。”在被江山磨灭的古今豪杰中，包涵着陈维崧这样的江东人杰。
“明到无终山下去”两句，词人放笔直抒胸中豪气。“无终山”，一名翁同山，又名阴山，在河北蓟县。麞，即獐，似鹿而小。“渴饮黄麞血”化用《汉书·王莽传》“饥食虏肉，渴饮其血”的句子，表现出作者的雄心豪气。故陈廷焯在《词则·放歌集》中评点说：“雄劲之气，横扫千人。”
词末两句以古喻今，更见其悲慨深沉。《长杨赋》是西汉扬雄所作。长杨为汉行宫名，在今陕西周至县东，因宫中有杨树数亩而得名。扬雄曾随从汉成帝羽猎。其时农民因帝王游猎而不得收敛，扬雄作此赋以讽。然而如今有何用处呢？这里把典故融化入词境，既与上文挽弓射猎相接应，又不露斧凿痕迹，而使词的情味更加浓厚。