张太雷小时候名泰来，他的父亲张光斗，母亲薛氏，因家境贫寒，寄居在外公薛锦元家中。后来得到在江西萍乡安源煤矿任总办的张绍曾的帮助，介绍太雷的父亲到安源煤矿谋生。
1901年春天，泰来刚过两岁，全家四口，就来到安源煤矿。张光斗当了洗煤台文书，矿上安排了住房，生活算是安定下来了。但是矿区没有学堂，连私塾也没有。小泰来和姐姐泰临的教育成了大问题，就在泰来四岁多、泰临七岁多的时候，父亲张光斗就成了他们的第一任家教老师，以《千字文》、《百家姓》、《三字经》为教材，从识字开始，以后又学唐诗、宋词。张光斗白天上班后，母亲薛氏就督促姐弟俩复习功课，抄书或默写，小屋子里经常传出朗朗的读书声。
但好景不长，1906年春节期间，张光斗突然病倒，救治无效，年仅36岁就去世了。在萍乡无依无靠没有经济来源的薛氏，只好带孩子重返故乡常州。在张绍曾的帮助下，薛氏到张家帮佣，小泰来进入在贞和堂设立的私塾去读书。私塾老师是一个戴老花眼镜的秀才，所教的课也离不开四书、五经之类，每教完一篇，就要学生背诵，背不出来就要用戒尺打手心，小泰来从小打下的基础好，自己也懂得读书的机会来之不易，所以非常用功。但私塾老师教的《千字文》、《百家姓》等泰来早已学过了，有时上课思想不够集中，老师亦有所察觉，就故意点名叫泰来背书，当然这难不倒泰来，老师见他背得流利顺畅，不错不漏，也不好责怪他。一天，老师正领着学生朗读《千字文》，发现泰来在看另外一本书，走近一看，泰来看的是一本《孟子》，老师当场收了《孟子》，又叫泰来站起来背《千字文》，泰来就从“天地玄黄，宇宙洪荒”背起，一字不差，背了一段后，老师知道他学过了，就叫他坐下。第二天，老师把《孟子》还给泰来，并向学生宣布，从今天起，我们分两个班教学，张泰来学《孟子》，其余的仍学《千字文》。泰来很是高兴，终于可以学新课了。
当泰来把《孟子》打开，看到老师用毛笔写的纸条，上面端端正正写了十个字：“学新以增智，温故而知新”。泰来十分感动，理解老师的心意，懂得学无止境，不可自满。从此，泰来既学新课，又温旧书，知识大有长进。老师总是欢喜勤奋学习的好学生的，除指导他读书外，还教他练习书法，小泰来进私塾读书半年多，从没有挨过一次板子，而且常常受到表扬。他每天回家后除自己复习外，还要教不能去上学的姐姐读书。1906年秋天，泰来进入西郊两等小学堂读二年级，课程有国文、历史、地理、自然、社会、珠算等，知识面扩大了。对于勤奋好学、求知欲旺盛的泰来来说，心理上得到了很大的满足，他对每门功能都充满了兴趣，上课时聚精会神地听讲，下课后认认真真地复习。因此，每门功课都是优秀，受到老师器重，同学称赞。1911年夏天，泰来从小学毕业，进入常州府中学堂，开始了中学阶段的学习。常州府中学堂设置的课程更多，张太雷如饥似渴地汲取各门知识，对英文尤感兴趣，英语成绩每个学期都是全班第一名。当时学校用的数理化课本都是英文原版书，如不学好英文，数理化课也学不好。
英语后来成为他投身革命、走出国门的一道桥梁，可以说，英语改变了他的一生。这当然是他当时所没有料到的。