依据龚明之（1091-1182）《中吴纪闻》所载：
贺铸，字方回，本山阴人，徙姑苏之醋坊桥。方回尝游定力寺，访僧不遇，因题一绝云：“破冰泉脉漱篱根，坏衲犹疑挂树猿。蜡屐旧痕浑不见，东风先为我开门。”王荆公极爱之，自此声价愈重。有小筑，在盘门之南十余里，地名横塘。方回往来其间，尝作《青玉案》词云：“……（略）后山谷有诗云：‘解道江南断肠句，只今唯有贺方回。’其为前辈推重如此。”
这是关于贺铸这一阕词最早也最质朴的背景介绍。从这一则记载来看，“横塘”不是一个泛称，而是贺铸别筑的一个居所。许多解析《青玉案》的评者先入为主且并无所据地以为作者是在路上看见了一名绝色女子，因而生比兴之意、寄托之思，追摹其枨触怅惘，却不能曲尽其事，这多是未能从文本之内看穿贺铸的小筑是否有实际的作用。
可是《青玉案》的第一句就明白地说了：有一个女子，即使是像洛神一样美丽的仙子，也没有办法度越横塘。这就说明了为什么作者只能“目送芳尘”。至于之所以用“锦瑟年华”描述这名女子，也不是无端形容一个青春正好的姑娘的虚词。这得先绕到李商隐的《锦瑟》诗去看。
《锦瑟》是李商隐怅惘偷情、怀念他的小姨子的一首诗，泄露谜底的是关键句是“望帝春心托杜鹃”。而望帝的故事是这样的：