这首诗分三个层次，由起句到“况乃陵穷发”为第一层，写倦游赤石，进而起帆海之想。由“川后”句至“虚舟”句为第二层次，正写帆海情状与心态变化。“仲连”句以下，为第三层次，即游生想，结出顺天适己，安养天年之旨。心情的变化则是贯串全诗的主线。
“首夏”二句遥应《游南亭》诗“未厌青春好，已睹朱明移”，既点明此游节令，又显示了一种莫可如何而慰情聊胜无的复杂心情。游南亭触景生情，由春夏迭代中，深哀盛年已去，衰疾在斯。这里说，初夏了，天气总算还清爽煦和，芳草也未尝因骄阳的淫威而枯萎。可见诗人似乎已从前诗的悲感中稍稍复苏。尤可注意：“芳草犹未歇”，实反用《离骚》“及年岁之未晏兮，时亦犹其未央，恐鹈鴂之先鸣兮，使夫百草为之不芳”，则又于自幸自慰中，见出谢客这位“逐臣”的傲兀性格来。但是这种欣慰并不能维持多久，在出郡数十里南游赤石中，日复一日地水行水宿，未免单调，而阴晴的变化，云霞的出没，也因屡见而失去了新鲜之感。这滨海的周游，已使人厌厌生“倦”，更何况面临的是极北不毛之地，穷发更北的溟海呢。有人认为“况乃临穷发”是写诗人豪情勃发，顿起泛海之想，然而“况乃”二字分明承“倦瀛壖”来，见出帆海之前，诗人的心情并不甚佳。
然而当舟船沿港湾进入大海，奇景忽开，水面一平如镜，川后既令江水安流，八首八足八尾背青黄的朝阳谷神水伯天吴，虽然脾气暴虐，此时却也“静不发”，仿佛都在迎接诗人的来游。于是他高张云帆，泛舟海上，随意掇取那形如龟足的石华，那其大如镜白色正圆的海月。而当他抬头回望时，溟海无涯，心情也竟如坐下的轻舟而起凌虚凭空之想。
出涯涘而观大海，诗人之所感，必也与《庄子·秋水》中那位河伯一样，涵容无尽的海波，真使他心胸开张，一扫积日累月的烦酲。于是他即游生想，远追往古，进而悟彻了人生的至理：海上曾有过形形色色的隐者，有助齐却燕，功成辞赏而退的鲁仲连；也有“身在江海之上，心居魏阙之下”的公子年（见《庄子·让王》）。形踪虽似，而其趣迥异。后者只是矜伐虚名的假隐士，与庄子所说的“无以得殉名”（《秋水》）格格不入，有亏大道。而似鲁仲连所说“吾与富贵而诎于人，宁贫贱而轻世肆志”，才深合漆园傲吏物我两忘，适己顺天，“返其真”的至理。两者相较，诗人似乎对自己既往自负任气蹙蹙于一己得失的生活有所警省，他愿意铭记《庄子·山木》中太公任（任公）教训孔子的一段话：“直木先伐，甘泉先竭”。露才扬己，必遭天伐，唯有“削迹损势”，澡雪精神，中充而外谦，才能养生全年——这正与渊深无底，广浩无涯，却一平如镜的大海一样。诗至此，情景理完全契合无际。
方东树《昭昧詹言》曾指出，谢客博洽而尤熟于《庄》，此诗不仅取义于《庄子》，而且在构想上也有得于《秋水篇》。诗以赤石为宾，帆海为主，以“周览倦瀛壖，况乃陵穷发”与“溟涨无端倪，虚舟有超越”两联作转折顿束，遂在层曲的写景抒情中表达了出涯涘而睹汪洋所引起的精神升华，情与理与典实均能合若符契，足见谢诗结构之精。
此诗的情理又都在自然精美的写景记游中自然地体现。“扬帆采石华，挂席拾海月”，海产珍奇，而俯拾皆是，可见诗人扬帆于暖风静海中盈满心胸的恬适之感，于是下文请从任公适己顺天之想也就水到渠成了。鲍照评谢诗云“如初发芙蓉，自然可爱”（《南史·颜延之传》），正是指的这种中充实而溢于外，风华流丽而不伤于巧的语言特色。
首联两句，直写诗人隐居之乐。陶渊明《读山海经》诗云：“孟夏草木长，绕屋弄扶疏。众鸟欣有托，吾亦爱吾庐。”此处“竹树绕吾庐”句，即用其意。虽然从字面上看，只是描述诗人居所的环境，但却透出一种自得欣愉之情。“清深趣有余”为全诗主旨所在。“清深”二字，既指竹树围绕居所那种清幽深静的环境，也指隐居生活之趣的性质。可以联想到杜甫《江村》：“清江一曲抱村流，长夏江村事事幽”。首联两句，实已奠定了全诗的基调。
颔联、颈联便具体写清深之趣。“鹤闲临水久，蜂懒采花疏”两句为物趣：白鹤久久地立于水中，一动不动，似乎也在享受着一份悠闲；蜜蜂则驻足花上，并不穿梭往来，仿佛是有意疏懒。两句虽是写物，却带有诗人明显的主观色彩，所谓鹤闲蜂懒，其实都是诗人的主观感受。正因为诗人的隐居生活是那样的闲适自在。所以在诗人眼中，一切景物便都带有悠然自得的特征。然而，这种主观色彩的渗入又未改变景物的客观形态，即是说，在诗人笔下，景物描写仍是白描，而不同于变形、夸张。对于形成平淡自然、清幽静远的诗风，此种手法有着直接的作用。“酒病妨开卷，春阴入荷锄”转写人事之趣。诗人酒醒之后，仍觉酒意未去，头脑昏沉，恹恹如病，欲读书而不能。于是荷锄下田，做一些农活，而春日的树荫恰好挡住了太阳，别有一番情趣。本来，酒病而妨开卷，是件令人不快的事，但是人林逋既以隐居自乐，则读书并非每日必修的功课，更不是博取功名的手段。读书对于他，只是一种消遣，一种兴之所致的娱情悦志的方式，恰如陶渊明之“既耕且已种，时还读我书”；“泛览周王传，流观山海图。”所以，酒病碍于开卷，却不妨荷锄而作，同样可以得隐居闲适之趣。尤其当春日树荫仿佛有意移向诗人劳作的地方时，这种闲适之趣、田园之乐就更为明显，真正是“清深趣有余”。
尾联“尝怜古图画，多半写樵渔”，则是借写诗人喜爱古代描绘渔樵生活的图画来说明此种清深之趣与古人相同。古代的高士图、隐居图，多撷取这些高人隐士渔樵生活的场面，以表现他们远离世俗，恬淡自适。诗人说他喜爱这类图画，其实是想说他目前的隐居生活恰与古代的高人隐士相同，一样可以写入画中。诗人不便直说他的行迹心境可以媲美古人，那样会有自诩之嫌，而如此表述，则意在言外，既表明了诗人对古人的思幕，又道出了诗人对隐居生活的满足，同时还使诗歌在结构上富于变化，耐人寻味。
此诗受陶渊明的影响较深，或是一首拟陶之作。若论质而自然，此诗有所不及，但诗境、旨趣，颇为相近。
全诗以向人夸赞的口吻，新颖的笔姿，轻松的情调，清淡的语句，写隐逸高趣，和谐而又完美。有一种“咏之令人忘百事”（梅尧臣语）的艺术魅力。
