最早记载“断桥残雪”的是唐朝的张祜，他的诗中的一句“断桥荒藓涩”，从中可知断桥是一座苔藓斑驳的古老石桥。大雪初霁，原来苔藓斑驳的古石桥上，雪已残而未消，难免有些残山剩水之感，于是就拟出了“断桥残雪”这一西湖难得的景观。
明人汪珂玉《西子湖拾翠余谈》有一段评说西湖胜景的妙语：“西湖之胜，晴湖不如雨湖，雨湖不如月湖，月湖不如雪湖......能真正领山水之绝者，尘世有几人哉！”地处江南的杭州，每年雪期短促，大雪天更是罕见。一旦银妆素裹，便会营造出与常时，常景迥然不同的雪湖胜况。每当雪后初晴，来至断桥上往西，往北眺望，孤山，葛岭一带楼台上下，如铺琼砌玉，晶莹朗澈，有一种冷艳之美。
明代画家李流芳《西湖卧游图题跋——断桥春望》称：“往时至湖上，从断桥一望，魂销欲死。还谓所知，湖之潋滟熹微，大约如晨光之着树，明月之入庐。盖山水映发，他处即有澄波巨浸，不及也。”由此观之，断桥观瞻，可得湖山之神髓，岂独残雪！
今日断桥，是1921年重建的拱形独孔环洞石桥，长8.8米，宽8.6米，单孔净跨6.1米，年前曾经大修，但古朴淡雅的风貌基本未变。桥东堍有康熙御题景碑亭，亭侧建水榭，题额“云水光中”，青瓦朱栏，飞檐翘角，与桥，亭构成西湖东北隅一幅古典风格的画图。说法一：
西湖大雪初霁，登宝石山往南俯瞰，白堤皑皑如银链横陈。日出映照，断桥向阳桥面积雪融化露出褐色的桥面一痕，仿佛长长的白链到此中断了，所以称为“断桥残雪”。
说法二：
因为自平湖秋月的白堤至此而断，故称断桥。而冬日雪霁，伫立断桥举目四望，残雪似银，冻湖如墨，黑白分隔，格外动人心魄。故而，称其为“断桥残雪”。说法三：
明末的张岱却别立一说，他在《西湖梦寻》是写道：白堤上沿堤植桃柳，“树皆合抱，行其下者，枝叶扶苏，漏下月光，碎如残雪。意向言“断桥残雪”，或言月影也。