杨万里八岁丧母。父亲杨芾(公元1096-1164年〉，字文卿，号南溪居士。他精通《易经》，常忍着饥寒购买书籍，积十年，得藏书数千卷。他曾指着藏书对杨万里说:“是圣贤之心具焉，汝童怒之!”(胡铨《杨君文卿基志铭》)在父亲的影响下，杨万里自幼读书非常勤奋，广师博学，锲而不舍。他14岁拜高守道为师，17岁拜王庭程为师，21岁拜刘安世、刘廷直为师。绍兴二十年(公元1150年)春赴临安参加礼部试，落第而归，仍继续求学。27岁拜刘才邵为师。几年后在赣州司户任上，父亲又携领他去拜见滴居南安的张九成和途经赣州的胡锥。王庭珪、张九成、胡铨等前辈的学问、节操以及力主，抗金的爱国精神，给了杨万里以重要的影响。
绍兴二十四年(公元1154年)春，杨万里进士及第。二十六年(公元1156年)，授赣州司户参军。二十九年(公元1159也年)十月，调任永州零陵县塞。时主战派领袖张浚滴居永州，闭门谢客。杨万里三次前往拜渴而不得见，后以书信力请，并通过其子张拭介绍，才得接见。张浚对他说:“元符贵人，腰金纤紫者何隙，惟邹志完、陈莹中姓名与日月争光!”(罗大经《鹤林玉露》甲编卷l)同时勉之以“正心诚意”之学。杨万里服膺其教终身，于是名其读书之室曰“诚斋”，以明己志。胡铨当时滴居衡州，杨万里又请他为此写了《诚斋记》。为丞零陵，“一日而并得二师”(《跋张魏公答忠简胡公书十二纸》)，张浚、胡铨两位爱国名臣成方杨万里终生效法的榜样。
绍兴三十二年(公元1162年)六月，高宗赵构逊位，南宋政局发生重大变化。孝宗即位，锐意恢复，起用张泼为枢密使，不久又任其为相。隆兴元年(1163)秋，杨万里离零陵任，赴调至临安。因张浚推荐，除临安府教授。未及赴任，就因父病，而于二年正月西归吉水。八月四日，父病故，在家守服，'三年，户不闭而无客气《送王才臣赴秋试序》)。