诗一落笔，就描绘出了一幅落日余辉中，渔舟唱晚、轻棹击水的耶溪夕照图：“落景余清辉，轻桡弄溪渚”。诗人开始就描绘江南独有的景色：溪水上一只小舟漂浮，舟人轻轻摆动着船桨，在落日余辉中自由自在地欣赏着大自然的美景。一片斜阳照到水面，浮现出烟雨空濛的景象，水面上一层一层的细浪，受了残阳的反照，一时光辉起来，那夕阳金色的浅光，映着洲渚的小草、两岸的绿野，镶出西边天际的一抹绛红、深紫。
“澄明爱水物，临泛何容与”是写诗人临水泛舟看到在明净如镜的溪水中，观赏游鱼追逐嬉戏，三五成群，在水草和细石下钻进钻出。
耶溪的水色山光，使诗人乐而忘返，而江南的风土人情、岸边的渔村竹寨，更使诗人如入桃源仙境。“白首垂钓翁，新妆浣纱女”两句，概括地表现了江南生活的恬静安谧。蓑衣箬笠的老翁，在夕阳中垂钓却悠然自得；梳妆整齐、淡雅的村姑少女，在传说中曾是西施浣的耶溪水边洗衣、谈笑，欢声笑语更衬托出山村的幽静安宁。
结尾“相看似相识，脉脉不得语。”是诗人情感的自然流露。这恬静和乐的山村，与陶渊明笔下的桃花源非常相似，又与诗人孟浩然失意后的隐逸心情和谐一致。因此，这“似相识”确是诗人的思绪所念，是情之所至，而与那垂钓翁、浣纱女陌路相逢，素不相识，虽则情感相通，却只能脉脉相视而已。
首句“客心愁日暮”，起调平稳，而包笼颇大。诗人作客他乡，愁思满腹，虽归心似箭，然归期难卜，唯有在江边目断归舟，留连徘徊而已。时已黄昏，烟霭四起，在山间弥漫，将树色吞没。面对如此景象，使人不能不产生“日暮乡关何处是？烟波江上使人愁”（崔颢《黄鹤楼》）的慨叹。是以“客心”一句，实使“山烟”一句不呼自来，所谓因情生景是也。但是，诗人眼前虽不得归，归期却未必无望，所以他的内心，也不尽是悲凉。“山烟”一句色调太暗沉，于是“江水映霞晖”，诗意又振起。黄昏的江面，放眼四顾，没有比那翻光倒影、绚烂多彩的晚霞，更引人注意了。这晚霞一及江面，一江流动着的，便似乎不是水，而是万匹锦绣。这一句色调明丽鲜亮，正是诗人心中希望的象征。“独鹤”二句的两两相对，机杼又与上二句相同。独鹤凌空，形单影只，则使人生一身飘泊之悲；双凫出浪，相亲相近，则使人生夫妇相聚、举家团圆的向往。不过，这二句与上二句对比手法虽同，但笔致一阔大、一灵动，其趣亦不相同，而分别可喜可玩。诗最后以离乡千里，天寒无衣，凄然作结，回应到首句，则全诗成一浑然整体矣。
这首诗，写景流丽，言情婉转，不作艳词丽句，能以本色见佳。尤其是其中间四句，对仗精切，音调谐婉，缀句连篇，宛如唐律，是全诗最胜之处。即此一斑，亦可知老杜“苦学阴何”之语，实非虚谈，若何逊之诗，真有可学之处。
