这首诗将行役之人的羁愁客思，种种难以描摹的心境，写得如感如见，显露行人对行役的厌倦，其中暗含仕途不甚得意的愁怨之情。
所以此诗开头一句采用了迂回的构思，从行旅中随手拈来两个比譬。秋天的池水是清冷的，而行人的神情比这池水更清冷。秋天的景色是凄凉淡漠的，而行人的神情比秋景更加凄凉淡漠。这不仅仅是简单的比喻，而是进一步把两类毫不相干的事物作比较，行人的神情可以和秋景较短量长，只因为它们在凄凉冷漠这一点上有共同之处。这一比较，不仅渲染了“行色”的特征，而且让隐隐的写出了这“行色”体会到了行人的内心。
接下去“远陌”一句补充点出了行旅的具体环境。长长的小路，刚走到尽头，却发现到了河边渡口。这具体鲜明的情景，是诗人旅途奔波的概括，它暗示了行人的孤独寂寞，暗示了旅途奔波的辛苦和不知归宿何处的茫然。这是对上一句的补充，更是对“行色”的加重渲染。就全诗的构思而言，这一句有至关重要的作用，它点明了诗中所写，乃是羁旅行愁，而不是其他什么别的内容。有了这一句，上一句才有着落，而后面两句也才有了生发的基础。
诗的后二句，还是从侧面烘托。意思是说，幸好这行色画不出来，若能画出，一定会使人一生发愁。本来，绘画可以画出人的表情，但是在诗人看来，“行色”所反映的内心的凄苦黯淡，无法通过绘画来表现。要注意的是，这里并不是对绘画的功能作判断。
从一方面看，作者认为绘画不能表现这种“行色”，似乎是说绘画之所短；而从另一方面看，诗人的意图却是借绘画之所长来渲染行愁之重。绘画形象具体直观，假如把这行愁再现出来，将使人不胜其愁。这是以形式上的否定，来肯定行愁之重。简单两句中包含了形式与内涵，否定与肯定相反相成的妙趣，留下驰骋想象的空间，避免了正面用笔的重拙滞涩，足见构思之巧妙。
这首诗全从侧面用笔，实处让人体会到行人心情的凄凉冷漠，感受到行愁之沉重，虚处则含蓄不尽，余意悠长。空灵而不空虚，正是其艺术魅力之所在。此诗在宋代享有很高声誉，先是被司马光载入《温公续诗话》，诗人张耒认为此诗“甚工”，以致司马光“不敢以父子之嫌废也”。后来司马池之孙司马宏又把此诗刻于石上，张耒为作记，又借梅尧臣论诗句名评云：“诗之工者，写难状之景，如在目前，含不尽之意，见于言外，此诗有焉。”（《张右史文集》卷四十八《记行色诗》）
常人写这类题材，大致是先叙湖上景致，然后因景抒情。而作者却不循常套，起笔不谈游湖，而先从身世感慨人手。首三句“天风吹我，予湖山一角，果然清丽”，气势宏大，姿态超迈。作者不说自己出生杭州，却说自己是被天风吹落于此的。他是天上的谪仙，身在人间，神在天表，只不过西湖风光的清丽令他满意，他才不想返回天界。这三句，才写到作者的诞生，但却已将他的自命不凡、高视阔步、超凡绝俗之态写出，一种豪迈飞扬的气概，跃然纸上。有这三句定下基调，下面几句就看似惊人而实无足惊奇了。“曾是东华生小客，回首苍茫天际”，之所以说他只是北京城中一个客居的弱冠少年，却不说仕途不得志之苦、不抒少年意气，而像一位饱经沧桑的老人，在回首往事时有无限苍凉迷茫，就是因为他是谪仙，胸襟广、目光远，所思者大。“屠狗功名，雕龙文卷，岂是平生意”，像樊哙那样建功立业、像驺奭那样立言传世，乃是无数古人毕生追求的目标，而他却说那些都不是他的平生之志，也因为他是谪仙，来到人间乃是为了大济苍生、重振乾坤。战场上的一刀一枪，书堆中的寻章摘句，他当然是夷然不屑的。不过，他这番心比天高的志向抱负，常人是不会懂得。“乡亲苏小，定应笑我非计”，就连坟地在西湖边的苏小小地下有知，也肯定会笑作者全然打错了算盘。阅尽人世的小小尚如此，其他人就更不必论了。
词至上片末尾，豪情已转为孤独之感。过片才写到游湖。“才见一抹斜阳，半堤香草，顿惹清愁起”，但他笔下的西湖，乃是与他心境相合拍的西湖，他满怀清愁，所以刚刚看到“一抹”斜阳、“半堤”春草，这愁怀就顿时被惹逗起来了。斜阳芳草，自古都是伤心物，作者在此并未超越前人，但连用了“一抹”、“半堤”、“才见”、“顿惹”，词情便有无限含蓄，可谓化腐朽为神奇。接下“罗袜音尘何处觅，渺渺予怀孤寄”，前者用曹植《洛神赋》“罗袜生尘”之典，后者语本苏轼《前赤壁赋》“渺渺兮予怀，望美人兮天一方”之歌。既是泛舟湖上，自不免极目远望，但作者所望也不同凡俗，他望的是“美人”——理想的化身。然而，“何处觅”、“予怀孤寄”，他未能望到理想的归宿所在，满腔情怀亦不知何处吐泄。
词至此，已由豪迈而入孤独，由孤独而入忧愁，由忧愁而入怅惘。经此几番情感转折，终于唤出了全篇的名句：“怨去吹箫，狂来说剑，两样销魂味。”“怨”，是指他胸怀大志却无人领会、无处施展的怨愤；“狂”，是指他心中汹涌澎湃的狂潮，这狂潮中有高超的见识、有宏大的构想、有急切的愿望，包含之多，实难尽言。欲怨之去，就吹上一曲缠绵悠远的箫乐，让那怨愤随风飘逝；狂来奈何，就舞出一派熠熠生辉的剑光，让心潮在浩荡剑气中暂趋平伏。这一箫一剑，其中包蕴了作者多少失望和希望、痛苦和兴奋；抚起箫、挥起剑，这中间的滋味，令作者魂为之销。相形之下，功名、文名的“两般春梦”算不得什么，就让它们随着橹声飘荡进云水之间。
这首词全盘托出了少年龚自珍的雄心、抱负和自信、自负，是龚词的代表之作。其中核心的箫、剑二句，尤为后人所称道。有人说，这两者分别代表优美和壮美，而作者一身兼有之，实乃不世出之奇才。有人说，这两者代表了作者个性的两个方面，一深远，一宕落。龚自珍一生的行事，亦可以“吹箫”、“说剑”括之。即使到了他的晚年，他虽然自称“少年击剑更吹箫，剑气箫心一例消”，似乎剑已涩、箫已折；其实，这仍然只是在“吹箫”而已。上引二句出自《己亥杂诗》，而他在同一组诗中大声疾呼的“我劝天公重抖擞，不拘一格降人才”，依然是“说剑”的雄姿。