诗作前部分叙写古人事迹，以之为衬托表明自己坚决辞职隐居的意志与行为。诗作后部分写自己返家行程中的景象及感想。诗中抒发了去官还家、获得解脱的愉悦心情。诗中写景不多，却极为清丽动人。
一至十句自述隐居丘园之志。
先对几位古人加以评价：西汉的彭宣、薛广德、贡禹虽有高名，但只能说是优于贪婪奔竞之徒，还说不上是懂得养生缮性。彭宣和薛广德，班固《汉书》对他们评价颇高，称其“近于知耻”（《汉书·叙传》）；谢灵运却说他们“裁知耻”而已，并不十分推崇。贡禹曾为河南县令，因受上司责备，便辞官而去。后又出仕，元帝时为光禄大夫，以年迈求退，为皇帝所挽留，进为御史大夫。诗人认为他并未能遗弃荣华富贵。评论古人只是陪衬，目的是表明自己的志向不仅是不贪竞而已，而且要做到“达生”。《庄子》有《达生》篇，说“达生之情者，不务生之所无以为；达命之情者，不务知之所无奈何”，认为人之性分有定，不可勉强致力于性分之外的事。
篇中又说欲存生养性，莫如弃世而无所牵累。诗人正以此种思想作为隐退的精神支柱。其具体的打算，则是“庐园当栖岩，卑位代躬耕”。《山居赋》云：“古巢居穴处曰岩栖，传说古代隐士也有过此种原始生活者。但诗人毕竟做不到这样，故有所变通，以田园当作岩栖。他也不能真的耕稼自给，故欲学习古代一些达士的做法，安于卑位，以薄俸为生生之资。他说自己拙于仕宦，讷于言辞，故欲选择这样的生活道路，不过以往行迹尚未能与此种生活理想相一致。这可说是诗人对往昔生活的一个总结。
十一至二十句写去职。
先举周任、司马相如、尚子、邴生以自比。诗人说自己在种种方面都类似于上举那些淡泊明志的古人。自晋安帝义熙元年（405年）至景平元年（423年），实得十八年，说“二十载”是约略言之。二十年来做违心的事，心情是悒郁的；而今终于摆脱了送往迎来等等俗务，其快意可知。
二十一句至三十二句写初去郡途中的所见所感。
“理棹”以下四句写其水陆行程。为早日还家，乃疾速行舟。遄、鹜二字表现出心情之急迫。“理棹”二句已兼写水陆，“溯溪”二句又写水涉山行，但不觉累赘，因读者可由此充分想象其行进的画面，感受到行程的漫长辛苦。“野旷”二句是写景名句，景中其实有情。清旷无际的风景正与诗人心境相应。久被絷牵，一朝脱去，自感到无限的开朗、轻快，故触目皆成佳趣。
“憩石”二句写山林小憩情景，暗用《楚辞》典故：《九歌·山鬼》：“山中人兮芳杜若，饮石泉兮荫松柏。”又《离骚》：“朝饮木兰之坠露兮，夕餐秋菊之落英。”熟悉典故的读者可于言外获得一种清幽芳洁之感。“理棹”四句写疾速前行，途程漫漫，“野旷”四句写赏玩风物，途中小憩，形成情绪和内在节奏的对比；而其心情之急迫与愉悦，都得到了表现。由愉悦的心情、悠然的意绪，进而引发出一番情理相融的议论：高尚之志战胜了富贵之欲，胸襟旷然，则臞者可肥；以止水为鉴，则流荡不返者将归于宁静清明。（二句用《韩非子·喻老》和《庄子·德充符》典故）心灵获得了自由宁静，则即使处于纷乱奔竞之世，也等于是归真返璞，回到了伏羲、唐尧时代，可以无拘无束、怡然自得了。传说尧时百姓无事，有老者击壤而歌曰：“日出而作，日入而息。凿井而饮，耕田而食。帝力何有于我哉！”诗人用此典故，似有“人生如此自可乐，岂必局束为人靰”（韩愈《山石》）之慨，且使人隐约感到他与当权者关系之不和谐。
谢灵运去郡之志是坚定的。当时其堂弟谢晦等人都写信劝他不要离职，他执意不从。不过他并非一贯恬退之人。《宋书》本传说他“自谓才能宜参权要，既不见知，常怀愤愤”。其出为永嘉太守，正是与当权者矛盾的结果。他之去郡，乃是一种不合作态度的表现。明乎此，对于此诗的理解便可更深入一层了。
这首诗分前后两段，每段各八句。九、十两句是前后段的过渡。前段主要写淮阳秋景。起二句总写金风摇荡，玉露凋林的景象，明点题内“秋”字。一“荡”字不仅传出秋风摇扬之状，而且兼含荡涤之意，连同下句“凋”字，将金风玉露的肃杀之气形象地表现出来。金风摇荡，初秋时节尚存的绿叶等随之被荡涤，林木显得萧疏，故云“荡初节”、“凋晚林”。后一句为杜甫《秋兴》“玉露凋伤枫树林”所本，杜句固然青出于蓝，李句也写得充满秋意。三、四句从自然景物之肃杀凋伤转入人事，贴到自身。当时作者参与杨玄感反隋失败，被捕逃亡，处境艰苦，故自称“穷涂士”；由肃杀的秋景联想到自己的穷困处境，故忧思郁结。两句已透出“感”秋之意，“伤”字更明点“感”字。五、六句又勒回写眺望中的秋景：田野平旷，但见蒹葭芦苇，四处围合；村落之中，唯见藜藿纵横，杂草丛生。两句写出田野荒芜、村落残破的荒凉景象，“合”、“深”二字，更透出杳无人迹的情景，杜句“城春草木深”的“深”字似亦从“藿藜深”脱化。这正是隋朝末年中原地区在酷重赋役压榨下千里萧条景象的真实写照，足以印证“岁饥，削木皮以为食”的记载。七、八两句又收回到“感”字，说明眺听之间，无不使自己徘徊伤感，独自泣下。以上八句，情、景相间，“秋”、“感”相浃，前四句犹因自然景象而兴感，后四旬则因现实社会的残破荒凉而增悲，在重复中有递进。
九、十两句用顶针格紧承上文，以设问引出“怅然怀古意”，转入后段。所谓“怀古”，实即“感”的进一步发展。“秦俗”暗喻隋末乱世，“汉道”隐指重建之清朝。作者有感于乱世末俗尚未荡涤，盛时明代尚不可望，这正是他之所以“郁陶伤寸心”、“徙倚独沾襟”的原因。但又转念，当“秦俗”未平，“汉道”何冀之时，如樊哙、萧何等人，虽或出身市井屠者，或为刀笔小吏，一旦与时运相遇，却做出改朝换代、重建明时的大事业，万古流传其不朽之名声，因此感到自己虽生此乱世，但只要奋起图王，仍可像樊哙、萧何做出一番事业。“寄言世上雄，虚生真可愧。”这是他感秋伤时最后引出的结论，也是他对自己人生观的明确表述。这“世上雄”自然泛指隋末群雄，也显然包括自己。这八句纯粹抒感，以“怀古”抒伤时之慨，表乘时奋起之怀。
这是一位有雄图大志的人物在乱世中面对秋景引发的联想与感慨。古代有不少不得志于世的士人，想在乱世中一显身手，一展宏图。这种乘乱奋起的思想在一部分士人中相当有代表性。诗写得沉郁苍凉，透出特有的时代气氛。