诗的首联把“扰扰”和“风雨”、“尘埃”放在一起形成鲜明对比，刻画出殷勤来访、奔走于权贵之门的上人形象。“扰扰”表明了诗人无奈而不堪的心情。《诗经·风雨》中有“风雨凄凄，鸡鸣喈喈。既见君子，云胡不夷”，表达见到朋友时平静又喜悦的心情。诗人在这句中也暗用“风雨”的典故，却是在委婉表达对广宣上人频频造访的不满。
颔联说到自己辜负了高僧屡屡造访的心意，说的显然是反话，可以理解为是对广宣上人拜访的委婉谢绝。“惭”、“愧”连用，诗人在自谦的同时，表达出他和上人在立身处世问题上的不同见解，他们之间有不可逾越的隔阂。
颈联仍是自谦，说自己读书没有收获。其中的“未能回”可以理解为没有回去，或者也可以理解为广宣上人以诗相赠，诗人自谦才疏学浅，整日推敲也无法答复。不管怎么说，这都是对广宣上人的回绝。诗人强调他学习的是儒家圣道，推崇的是孔孟之学，暗含他和上人之间有“道不同不相为谋”的意思。
尾联提到了“红叶”有几堆，在王维《山中》有“荆溪白石出，天寒红叶稀”句，“天寒红叶”的意象刻画出清冷寂寞的初冬景象。诗人化用王维诗意，表达他对上人的微讽之意。广宣上人的住所是寺庙，但他整日在外奔走，以至于很少待在寺庙之中。诗人说红叶堆积，无人打扫，旨在劝这位上人当回到寺庙之中。这仍然是在委婉表达对广宣上人的不满。
韩愈一生以弘扬儒家之道为己任，排斥佛老等学说。但偏偏有所谓高僧广宣上人，频频以诗文讨教。诗人出于礼貌，又不能不略为敷衍，但内心深处对于这种奔走于权贵之门的僧人，是非常无奈而又鄙薄的。诗题中的“频”字已经表达出不耐之情。诗人采用了委婉暗示的手法，向广宣上人说明他的态度。诗人自谦的语气一以贯之，他在暗示广宣，你我之间的过多交往对双方都没有太多益处。最深处的原因是各自坚守的大道不同，各自安身立命的所在不同。诗的结尾用意巧妙，意在讥讽僧人终日不归。诗人说天寒寺冷，红叶堆积，希望点醒广宣上人：既然号称高僧，就应该在寺庙中潜修佛理，弘扬佛法，不必终日奔走在外、踪迹难寻。这首诗还意在传达一种诗人所谓“聪明不及于前时，道德有负于初心”的人生感喟（韩愈《〈五箴〉小序》语）。整首诗平易坦荡，不用事，不屈己徇人，言语之间颇能体现温柔敦厚的诗教精神。
这首诗分三个层次，由起句到“况乃陵穷发”为第一层，写倦游赤石，进而起帆海之想。由“川后”句至“虚舟”句为第二层次，正写帆海情状与心态变化。“仲连”句以下，为第三层次，即游生想，结出顺天适己，安养天年之旨。心情的变化则是贯串全诗的主线。
“首夏”二句遥应《游南亭》诗“未厌青春好，已睹朱明移”，既点明此游节令，又显示了一种莫可如何而慰情聊胜无的复杂心情。游南亭触景生情，由春夏迭代中，深哀盛年已去，衰疾在斯。这里说，初夏了，天气总算还清爽煦和，芳草也未尝因骄阳的淫威而枯萎。可见诗人似乎已从前诗的悲感中稍稍复苏。尤可注意：“芳草犹未歇”，实反用《离骚》“及年岁之未晏兮，时亦犹其未央，恐鹈鴂之先鸣兮，使夫百草为之不芳”，则又于自幸自慰中，见出谢客这位“逐臣”的傲兀性格来。但是这种欣慰并不能维持多久，在出郡数十里南游赤石中，日复一日地水行水宿，未免单调，而阴晴的变化，云霞的出没，也因屡见而失去了新鲜之感。这滨海的周游，已使人厌厌生“倦”，更何况面临的是极北不毛之地，穷发更北的溟海呢。有人认为“况乃临穷发”是写诗人豪情勃发，顿起泛海之想，然而“况乃”二字分明承“倦瀛壖”来，见出帆海之前，诗人的心情并不甚佳。
然而当舟船沿港湾进入大海，奇景忽开，水面一平如镜，川后既令江水安流，八首八足八尾背青黄的朝阳谷神水伯天吴，虽然脾气暴虐，此时却也“静不发”，仿佛都在迎接诗人的来游。于是他高张云帆，泛舟海上，随意掇取那形如龟足的石华，那其大如镜白色正圆的海月。而当他抬头回望时，溟海无涯，心情也竟如坐下的轻舟而起凌虚凭空之想。
出涯涘而观大海，诗人之所感，必也与《庄子·秋水》中那位河伯一样，涵容无尽的海波，真使他心胸开张，一扫积日累月的烦酲。于是他即游生想，远追往古，进而悟彻了人生的至理：海上曾有过形形色色的隐者，有助齐却燕，功成辞赏而退的鲁仲连；也有“身在江海之上，心居魏阙之下”的公子年（见《庄子·让王》）。形踪虽似，而其趣迥异。后者只是矜伐虚名的假隐士，与庄子所说的“无以得殉名”（《秋水》）格格不入，有亏大道。而似鲁仲连所说“吾与富贵而诎于人，宁贫贱而轻世肆志”，才深合漆园傲吏物我两忘，适己顺天，“返其真”的至理。两者相较，诗人似乎对自己既往自负任气蹙蹙于一己得失的生活有所警省，他愿意铭记《庄子·山木》中太公任（任公）教训孔子的一段话：“直木先伐，甘泉先竭”。露才扬己，必遭天伐，唯有“削迹损势”，澡雪精神，中充而外谦，才能养生全年——这正与渊深无底，广浩无涯，却一平如镜的大海一样。诗至此，情景理完全契合无际。
方东树《昭昧詹言》曾指出，谢客博洽而尤熟于《庄》，此诗不仅取义于《庄子》，而且在构想上也有得于《秋水篇》。诗以赤石为宾，帆海为主，以“周览倦瀛壖，况乃陵穷发”与“溟涨无端倪，虚舟有超越”两联作转折顿束，遂在层曲的写景抒情中表达了出涯涘而睹汪洋所引起的精神升华，情与理与典实均能合若符契，足见谢诗结构之精。
此诗的情理又都在自然精美的写景记游中自然地体现。“扬帆采石华，挂席拾海月”，海产珍奇，而俯拾皆是，可见诗人扬帆于暖风静海中盈满心胸的恬适之感，于是下文请从任公适己顺天之想也就水到渠成了。鲍照评谢诗云“如初发芙蓉，自然可爱”（《南史·颜延之传》），正是指的这种中充实而溢于外，风华流丽而不伤于巧的语言特色。
此诗通篇为咏物体，前四句写大雁惊飞，影过皇城，鸣声回荡在长安城上空。言外之意是：不知是否能引起皇宫中统治者的关注？后四句安慰大雁：胡骑尚在，你们到春天时也不要急于北飞，潇湘之地也可以觅食。此诗通篇无一语批评执政者，但在秋天就设想明年春天胡骑还在，则朝廷无力安边之意自明。这是非常含蓄的怨刺方法。
首联想象鸿雁遭射四散的情景。金河，在今内蒙古自治区呼和浩特市南，这里泛指北方边地。“虏弦开”，是双关挽弓射猎和发动军事骚扰活动。这两句生动地展现出一幅边塞惊雁的活动图景：仲秋塞外，广漠无边，正在云霄展翅翱翔的雁群忽然遭到胡骑的袭射，立时惊飞四散，发出凄厉的哀鸣。“惊飞四散哀”五个字，从情态、动作到声音，写出一时间连续发生的情景，层次分明而又贯串一气，是非常真切凝炼的动态描写。
颔联续写“惊飞四散”的征雁飞经都城长安上空的情景。汉代建章宫有金铜仙人舒掌托承露盘，“仙掌”指此。清凉的月色映照着宫中孤耸的仙掌，这景象已在静谧中显出几分冷寂；在这静寂的画面上又飘过孤雁缥缈的身影，就更显出境界之清寥和雁影之孤孑。失宠者幽居的长门宫，灯光黯淡，本就充满悲愁凄冷的气氛，在这种氛围中传来几声失群孤雁的哀鸣，就更显出境界的孤寂与雁鸣的悲凉。“孤影过”、“数声来”，一绘影，一写声，都与上联“惊飞四散”相应，写的是失群离散、形单影只之雁。两句在情景的描写、气氛的烘染方面，极细腻而传神。透过这幅清冷孤寂的孤雁南征图，可以隐约感受到那个衰颓时代悲凉的气氛。诗人特意使惊飞四散的征雁出现在长安宫阙的上空，似乎还隐寓着微婉的讽慨。它让人感到，居住在深宫中的皇帝，不但无力、而且也无意拯救流离失所的边地人民。月明灯暗，影孤啼哀，整个境界，正透出一种无言的冷漠。
颈联又由征雁南飞遥想到它们的北归，诗人说：如今胡人的骑兵射手还纷纷布满金河一带地区，明春气候转暖时节，你们又怎能随着和煦的春风一一返回自己的故乡呢？大雁秋来春返，故有“逐春风”而回的设想，但这里的“春风”似乎还兼有某种比兴象征意义。据《资治通鉴》载，回鹘侵扰边地时，唐朝廷“诏发陈、许、徐、汝、襄阳等兵屯太原及振武、天德，俟来春驱逐回鹘”。问题是：朝廷上的“春风”究竟能不能将流离异地的征雁吹送回北方呢？大雁还在南征的途中，诗人却已想到它们的北返；正在哀怜它们的惊飞离散，却已想到它们异日的无家可归。这是对流离失所的边地人民无微不至的关切。“须知”、“岂逐”，更像是面对边地流民深情嘱咐的口吻。两句一意贯串，语调轻柔，情致深婉。这种深切的同情，正与上联透露的无言的冷漠形成鲜明的对照。
流离失所、欲归不得的征雁，它们的归宿是：“莫厌潇湘少人处，水多菰米岸莓苔。”潇湘指今湖南中部、南部一带。相传雁飞不过衡阳，所以这里想象它们在潇湘一带停歇下来。菰米，是一种生长在浅水中的多年生草本植物的果实（嫩茎叫茭白）。莓苔，是一种蔷薇科植物，子红色。这两种东西都是雁的食物。诗人深情地劝慰南飞的征雁：不要厌弃潇湘一带空旷人稀，那里水中泽畔长满了菰米莓苔，尽堪作为食料，不妨暂时安居下来吧。诗人在无可奈何中发出的劝慰与嘱咐，更深一层地表现了对流亡者的深情体贴。由南征而想到北返，这是一层曲折；由北返无家可归想到不如在南方寻找归宿，这又是一层曲折。通过层层曲折转跌，诗人对边地人民的深情系念也就表达得愈加充分和深入。“莫厌”二字，担心南来的征雁也许不习惯潇湘的空旷孤寂，显得蕴藉深厚，体贴备至。
这是一首托物寓慨的诗。通篇采用比兴象征手法，表面上似乎句句写雁，实际上，它句句写时事，句句写人。风格婉曲细腻，清丽含蓄。而这种深婉细腻又与轻快流走的格调和谐地统一在一起，在以豪宕俊爽为主要特色的杜牧诗中，是别开生面之作。