上片写景。先从远处着笔。
“远岸收残雨，雨残稍觉江天暮。”上阕头两句写江天过雨之景，发端“远岸收残雨”，句中词序颠倒实即“残雨收”：意谓远远的江岸一带，雨点疏疏稀稀的快停止了。雨快下完了，才觉得江天渐晚，则可推断出这场雨下了很长时间。孤舟因雨不能行驶，词人此时蜗居小舟，孤寂无依更可知，这就把时间、地点、人物的动作和心情都或明或暗地表现出来了。紧接着，“雨残稍觉江灭暮”，一幅以江天为背景的寥阔画面，那是淡淡的水墨画，雨快停止，而天空开始黑下来了。
“拾翠汀洲人寂静，立双双鸥鹭。”转换了另一个画面，诗人将视线从远岸收向较近的汀洲上。拾翠佳人，就是指在河边拾香草的女子。鸥鹭成双，词人却孤独寂寞地处在小舟之中。这一对照，就更显词人内心的孤独寂寞。汀洲之上，有鸥鹭以之为家，但拾翠者早已归去，虚拟作陪，更以“双双”形容“鸥鹭”，便觉景中有情。时间在流逝，天渐渐更黑了，随着诗人视线的变动，又展现出另一幅画面。
“望几点、渔灯隐映蒹葭浦。”“望几点”句，时间由日暮转向夜晚。诗人放眼望去，只见芦苇荡里，隐隐约约闪动着渔船上的灯火，一点又一点。渔灯已明，但由于是远望，又隔有蒹葭，所以说是“隐映”，这是远处所见。“停画桡”句，就是描绘自己所处之地，附近所闻。“道去程”二句，乃是舟人的语言和动作。“前村烟树”本属实景，而冠以“遥指”二字，又似虚写。此二句将船家对路途的安排，他们的神情、口吻以及隐约可见的江村勾勒了出来，用笔极其简练，而又生动、真切。
“停画桡，两两舟人语。道去程今夜，遥指前村烟树。”这是诗人耳中所闻，船停止了划桨，两个舟子在谈话：他们指着远方的前村烟树朦胧处，说今夜的行程就去那里。后一句词序颠倒且有省略，意谓（舟子）遥指前村烟树，道今夜去程（是那边）：这是词的特殊语言。行文至此，从拾翠人回、鸥鹭双双立、渔人点点灯火归家、直至两舟子语今夜远村去程，无不触动诗人敏感的心，故下片自然地引出抒情。
下阕由今夜的去程而思至长年漂泊的艰苦。
“游宦成羁旅，短樯吟倚闲凝伫。”过片“游宦成羁旅”，正面倾吐出旅愁，点明本词主旨：“短樯吟倚闲凝伫”，又是词序颠倒，正面写出舟中百无聊赖的生活。这句是诗人的立足点，原来上片诗人那些所见所闻，都是从“凝伫”而得。它起着总上启下的作用。
“万水千山迷远近。想乡关何处？”“万水”两句，由“凝伫”转来，由于长久远眺，所见则“万水千山”，所思则“乡关何处”。句渲染出一片万水千山茫茫无际的景色，后句点明诗人的乡愁。“迷远近”虽指目“迷”，也是心“迷”。崔颢《黄鹤楼》云：“日暮乡关何处是，烟波江上使人愁。”与此句正是语近意通。
“自别后、风亭月榭孤欢聚。”“自别后”以下，直接“乡关何处”，而加以发挥。“风亭”七字，回忆过往，嗟叹今夕。昔日良辰美景，胜地欢游，现在只有孤舟一人，乡情郁郁，而用一“孤”字将今昔分开，意谓亭榭风月依然，但人却不能欢聚，就把它们辜负了。想到这里，诗人离愁更浓，故接着唱出全词的最强音。
“刚断肠、惹得离情苦。听杜宇声声，劝人不如归去。”“刚断肠”以下，紧接上文。乡思正浓，归日无期，而杜宇声声，劝人归去，愈觉不堪。杜宇不识人心，却劝人返，则无情而似有情；人不能归，而杜宇不谅，依旧催劝，徒乱人意，则有情终似无情。以听杜宇哀啼结束，更觉深情婉转、凄侧动人，用意层层深入，一句紧接一句，情深意婉而下笔有力，读来浸人心腑。
诗的第一、二句说自己心中不乐（悰，乐），故与朋友携手来游东田。次二句写登上耸入云霄的层层台榭，随山势望去，只见楼阁华美无比（菌阁）。接着四句继续描写远近景色，远处树木苍翠茂密，山间烟霭缭绕弥漫，“阡阡”、“漠漠”两个叠音词将树木的葱茏和云烟的氤氲表现得非常生动。接着，诗人目光稍稍收回，只见水面上荷叶颤动，于是推想一定有游鱼在水下嬉戏，又见栖息着的鸟雀一飞而散，留在枝条上的残花纷纷飘落下来。诗人在“鱼戏新荷动，鸟散余花落”二句中将鱼、荷、鸟、花结合起来写。由荷动可推知鱼戏，此以实写虚也；“鸟散”是瞬间的景象，稍纵即逝，而“余花落”相对和缓些，诗人用“余花落”这一细致的动态描写来表现飞鸟散去后由动人静的一瞬间，显得余韵悠悠，体现了诗人闲适恬静的心境。“新荷”、“余花”也点出了时节正是初夏。诗的最后两句写不去饮酒取乐，而是凝神眺望城郭边的青山，诗人陶醉于自然景色中流连忘返的形象跃然纸上，诗开始时的苦闷至此已荡然无存了。
全诗写景既有全景式的概括描写，显得视野开阔；又有局部细腻的生动刻画，精警工丽，富有思致。这样写景避免了冗长的铺排，同谢灵运的某些写景铺排过多相比有了进步，显得流丽清新。
全诗八句可分为两层，都围绕“还”字来写。前四句写还山的原因，后四句设想还山后的情景。
诗的开头两句说山中带出信来，告诉诗人眼下已是耕种时节。“昨日”，不一定是确指，也可能是前些日子。不说故友捎信而说“山有信”，是一种委婉的说法，同时引出下文“还山”。隐居山中，时而读书，时而就种，魏晋以来一些隐居以求其志的士人们常常以这种方式生活，故信中以“耕种时”相告，催还之意自在其中。次两句紧承前两句，直接点出催还之意。“怪我还山迟”，乃是山中故友即“杜陵叟”“遥传”来的意思，用“遥传”，用“怪”，可见山中故友盼归之切，也看出诗人与他的情谊，故而不可不还。以上四句叙述，说自己当从速还山。
以下四句写还山后的情景，为诗人的设想。“独向潭上酌，无人林下期”，“潭上“林下”为高冠潭口的环境，“酌”和“期”为隐居之地的生活内容，说“独”，说“无”，可见诗人别弟还山后的孤独，其中透露出兄弟之间的深情。这两句虽是对别后情景的设想，但诗人也许在以往的山间生活中对此早有体验，因而不忍便与兄弟分别，“还山迟”的原因也许主要在于此。诗的最后两句仍设想还山后思念弟弟时的情景。“忆汝处”的“处”字，有彼时彼地之意。当诗人还山后想起弟弟的时候，既不能与弟弟同去潭边饮酒，又不能与弟弟携手林下同游，只能“闲卧对鸬鹚”，难以排遣的思念，难以割舍的留恋即在这一生活细节中含蓄地表现出来，不忍分别之情也就在其中了。也有人以为这后四句是转述杜陵叟的话，说杜陵里独处山间，如何思念诗人，如果这样理解，那么此篇便主要是写“杜陵叟”，似与别弟的意义不合。
这首诗写得极为平淡自然，很适于表达山问闲居情趣。而平淡自然中义含不尽之情。诗的前半写不得不归，后半写不忍便归，把故友之情、兄弟之情都表现得很含蓄，很真切。
