有次他在潞州的集市上，看见一个卖珍珠的小摊，摊位上的珍珠珰和女子戴的很像。他蹲下来，拿起一对珍珠珰，摸了摸，触感让他想起了女子的手。摊主问他要不要买，他摇了摇头，站起身，慢慢走开了——就算买了珍珠珰，也送不出去了。
他写江南弄：
“江中绿雾起凉波，天上叠巘红嵯峨。
水风浦云生老竹，渚暝蒲帆如一幅。”
诗里的江南，是他记忆中的江南，是有女子在巷口捣衣的江南，是充满了遗憾的江南。他把对女子的思念，把对江南的留恋，都写进了诗里，每一个字，都带着淡淡的忧伤。
沈子明来看他时，看见他在看那首江南弄，忍不住问：“你很喜欢江南？”李贺笑了笑，眼里带着一丝怀念：“江南有很好的月亮，有很好的人。”沈子明看着他的样子，没再多问，他知道，江南的那个人，在李贺心里，是一道无法愈合的伤口。
其实李贺也清楚，他对女子的主动离开，不仅仅是因为贫困，更是因为他内心的自卑。他“唐诸王孙”的身份，让他对自己有很高的期望，现实的贫困和仕途的无望，又让他觉得自己一事无成。这种宗室身份与现实贫困的撕裂感，让他在面对爱情时，总是充满了矛盾——既渴望拥有，又害怕给不了对方幸福，最终只能选择逃避。
他写赠陈商：
“长安有男儿，二十心已朽。
楞伽堆案前，楚辞系肘后。
人生有穷拙，日暮聊饮酒。
只今道已塞，何必须白首？”
诗里的“穷拙”，是他对自己的评价，也是他不敢追求爱情的原因。他觉得像一颗被遗弃的种子，在现实的土壤里，无法生根发芽，更无法开出爱情的花。