然而，林、徐好景不长，因为不久后林长民游欧时间结束，她只得随父亲归国，等徐志摩赶回国时，林徽因已与梁思成订婚了。徐志摩是梁启超的学生，在老师面前，除了克制自己外，还能做什么呢?但在遇到陆小曼之前徐一直怀念着林，且总是梁、林家里的常客。
梁、林到美国留学后经常有矛盾，激烈的时候，林就给国内的徐志摩写信，因为这样，徐志摩对林一直心存幻想。梁、林学成归国后任教于东北大学，后因林身体欠佳，曾在北京西山养病一段时间，梁未在身边。这一时期，徐经常去西山看望林。因为这样一段经历，后世研究者总以为徐、林之间的关系已经越过雷池了，然而谁也拿不出证据来。因此，徐、林的感情到底到了哪一步，至今恐怕是个悬案。不久，徐在北京的舞会上认识了有夫之妇陆小曼，徐再次插足并与陆结婚。徐婚后并不幸福，甚至很不幸福，又常向朋友倾诉，对象主要是胡适、林徽因和凌叔华等，直到1931年遇难身忘。林在1931年和1934年分别写过两篇纪念徐的文章，真情流露。
应该说，徐志摩对林徽因的影响是巨大的，如果没有徐志摩，林徽因是不会搞文学的。还在伦敦刚相识之时，徐就经常写诗给林看，林的儿子梁从诫在《林徽因文集》中说到，林徽因曾对子女们亲口讲过，徐写过很多诗送给林，最有名的是《偶然》，但是，我们现在看《偶然》这首诗，怎么都不像是写给林的，因为徐对林的存在从来没有这么洒脱过。当然，如果没有徐的影响，林在建筑方面的成就也许要大得多，她兴趣大广，无论在哪方面都未能留下传世之作。