李贺返乡，但对他万般赏识的韩愈仍不愿放弃，最终只为李贺争取到“奉礼郎”芝麻官。李贺难却韩愈的栽培之情，只好赴京就职，但是，两年的“臣妾气态间，唯欲承箕帚”的屈辱生活，让他饱尝世态炎凉。元和八年(813)初，他称病还乡，又因生活所迫，李贺南下荆襄，于郡邑码头之间漂泊。
李贺与妻感情深厚，我们大约可从他的一些脍炙人口的诗作中得知，比如有“井上辘轳床上转，水声繁，丝声浅。情若何?荀奉倩”之句的《后园凿井歌》，有“一编香丝云撒地，玉篦落处无声腻”、“背人不语向何处，阶自折樱桃花”之句的《美人梳头歌》，还有“卿卿忍相问，镜中双泪姿”之句的《出城》;更有“眼前便有千里思，小玉开屏见山色”之句的《江楼曲》。这些都是他写妻子的诗句，其中有对妻子一见倾心的爱慕之情，也有对妻子刻骨铭心的思念之意，可见夫妻之间恩爱无比。
按说李贺对妻子的感情如此深厚，除非“山无棱、天地合”，“乃敢与君绝”。而事实并非如此，我们从他的传世之作中也看出了一个问题，那就是客居他乡的李贺最终也免不了“出轨”，竟然也背着娇妻“乱来”了几次。
据李贺《恼公》暧昧一诗，我们可以得知李贺在参加河南府试之后在东都居住过一段时间，李贺这样的才子，在东都简直就一颗闪耀的明星，争相与他交好的权贵何止“一箩筐”，少不了花天酒地，加之他这次考试获得了考取进士的资格，我想那段时间也是他最快乐的一段时间。在这里他认识了结识过一位聪慧美丽的妙龄少女，两人互生爱慕，幽期密约，极尽卿卿我我，缠绵缱绻。
“黄娥初出座，宠妹始相从”，这简直就是一场定情聚会;“王时应七夕，夫位在三宫”，而且李贺爱慕的女子并非沦为红楼的寻常的女子，而是在朝中权势显赫的诸侯大人们金屋所藏之娇妾。何况“偷腥”毕竟不是什么光彩的事，从诗句中流露出李贺还是脸皮太薄：“隈花开兔径，向壁印狐踪”，倘若换做那些厚颜无耻之人，就不会有这般诗句了。尽管如此，李贺也不把这些权贵放在眼里，冲破封建礼教的束缚，虽然惴惴不安，以至于“犀株防胆怯，银液镇心忪”，但还是顶着风险与爱慕他的女子共度良宵。