回国后，情况迥变。刚到北京，徐志摩就接到了老师梁启超给他的一封长信，劝他“义不容以他人之苦痛易自己之快乐”。这等于明说了，林徽因已经许配给我家儿子，你就不必再干扰他们的幸福了。然而，徐志摩不把老师的劝诫当回事，反而坚定地回答:“我将于茫茫人海中访我唯一灵魂之伴侣，得之，我幸，不得，我命如此而已。”这等于摆出要较量一番的架势。当时，林长民家住景山后街称作“雪池”的院子里，林徽因在培华中学读书，课余，她要到梁思成家去谈情说爱，俩人的恋爱关系已相当稳固了。
梁思成家住在松坡图书馆，因为梁启超时任松坡图书馆馆长。松坡图书馆有两处房子：一处在西单附近的石虎胡同7号，一处在北海公园的快雪堂。快雪堂是一处幽静高雅的院落，星期天不对外开放。梁思成是馆长之子，关系特殊，当然可以自由出入，这里便也成了梁思成与林徽因幽会的地方。徐志摩竟然找到这里，理由当然是冠冕堂皇的，他是梁启超的学生，又是林长民的朋友，就是梁思成在，面子总是该给的吧。但是，徐志摩来的次数多了，梁思成渐渐产生了反感。有一次，梁思成在门上用英文书了一张纸条“情人不愿受干扰”。徐志摩见了，只得悻悻而去。这明晃晃的纸条贴在门上，大概不是背着林徽因写的吧。但是，即使这样，他们彼此的心中还是深深地眷念着对方。
1924年四五月间，印度诗人泰戈尔访华，徐志摩和林徽因都是诗坛中人，自然就一起接待，一起进出会场，还一起演出英文戏剧。这一次次的接触，又点燃了他们昔日的热烈情感。5月中旬的一天晚上，他们俩又一次会面。林徽因马上要随梁思成到美国留学去了，她也不可能成为他的妻子，两人终不能成为眷属已成定局。