这首诗作于公元755年（天宝十四年）或756年（天宝十五年），封常清兵败削官之后，诗人感到更加孤单，无所依靠，因而诗中多漂泊之意。
当时，安史之乱初起，天下为之骚动，边塞也不得安宁。在此人心惶惶之际，久居塞外的诗人自然黯然神伤，更兼送友东归，孑然自处，因此说“相送泪沾衣，天涯独未归”。诗人供职封常清幕府颇见任用，可是如今封常清兵败洛阳，被削去官职，诗人不由有物伤其类、痛失知己之感，故曰“将军初得罪，门客复何依”，觉得无所依傍，孤单伶仃。“梦去湖山阔，书停陇雁稀。”意即路途遥远，信息难通，愁郁之情无可排遣。“园林幸接近，一为到柴扉”两句是诗人强自安慰之语，实则是心伤故人远去后，自己将更加孤独，思乡之情将更加浓烈。全诗言辞凝滞，愁肠百结。读来感人肺腑，令人满目凄然。
全诗大体分两层笔墨。前八句，着重在描写南涧时所见景物。时方深秋，诗人独自来到南涧游览。涧中寂寞，仿佛秋天的肃杀之气独聚于此。虽日当正午，而秋风阵阵，林影稀疏，仍给人以萧瑟之感。诗人初到时若有所得，忘却了疲劳。但忽闻失侣之禽鸣于幽谷，眼见涧中水藻在波面上荡漾，却引起了无穷联想。诗的后八句，便着重抒写诗人由联想而产生的感慨。诗人自述迁谪离京以来，神情恍惚，怀人不见而有泪空垂。人孤则易为感伤，政治上一失意，便动辄得咎。如今处境索寞，竟成何事？于此徘徊，亦只自知。以后谁再迁谪来此，也许会理解这种心情。诗人因参加王叔文政治集团而遭受贬谪，使他感到忧伤愤懑，而南涧之游，本是解人烦闷的乐事，然所见景物，却又偏偏勾引起他的苦闷和烦恼。所以苏轼认为“柳子厚南迁后诗，清劲纡徐，大率类此”（《东坡题跋》卷二《书柳子厚南涧诗》）。这是道出了柳宗元贬后所作诗歌在思想内容方面的基本特色的。
清人何焯在所著《义门读书记》中，也曾对此诗作过较好的分析。他说：“‘秋气集南涧’，万感俱集，忽不自禁。发端有力。‘羁禽响幽谷’一联，似缘上‘风’字，直书即目，其实乃兴中之比也。羁禽哀鸣者，友声不可求，而断迁乔之望也，起下‘怀人’句。寒藻独舞者，潜鱼不能依，而乖得性之乐也，起下‘去国’句。”他这种看法，既注意到了诗人在诗歌中所反映的思想情绪，又注意到了这种思想情绪在诗歌结构安排上的内在联系，是符合作品本身的实际的。“秋气集南涧”一句，虽是写景，点出时令，一个“集”字便用得颇有深意。悲凉萧瑟的“秋气”怎么能独聚于南涧呢？这自然是诗人主观的感受，在这样的时令和气氛中，诗人“独游”到此，自然会“万感俱集”，不可抑止。他满腔忧郁的情怀，便一齐从这里开始倾泻出来。诗人由“秋气”进而写到秋风萧瑟，林影参差，引出“羁禽响幽谷”一联。诗人描绘山鸟惊飞独往，秋萍飘浮不定，不正使人仿佛看到诗人在溪涧深处踯躅徬徨、凄婉哀伤的身影吗？这“羁禽”二句，虽然是直书见闻，“其实乃兴中之比”，开下文着重抒写感慨的张本。诗人以“羁禽”在“幽谷”中哀鸣，欲求友声而不可得，比之为对重返朝廷之无望，因而使他要“怀人泪空垂”了。这诗写得平淡简朴，而细细体会，蕴味深长，“平淡有思致”。苏轼称赞此诗“妙绝古今”，“熟视有奇趣”，道出了它的艺术特色。