一天，汉娜握着小牛顿的手，告诉他自己很快就要离开这儿了，他将和外婆一起在白石小屋里生活。小牛顿皱着脸哭了起来，他哀求母亲带着他一块儿去。汉娜的心都要碎了，但她一点办法都没有，看到牛顿悲伤的表情，汉娜的决心有如暴风雨中的船摇摆不定了。对于史密斯牧师所说不要带孩子来的话，又恨又悲，只是日夜哭泣，最后还是离开了。她答应小牛顿会经常回来看他的。
从这个时候起，牛顿与母亲分开了，与外婆两人过着寂寞的生活。
勤劳的小木匠
老人和幼儿的生活，花费不多，仅靠佃租就足以维持。但牛顿的外婆仍然忙着饲养牛、马、羊、鸡等禽畜，还亲自下田耕作。沉默寡言的小牛顿，常常大步跑着，紧跟在外婆后面。
多半的时间，牛顿很寂寞，一个人玩，一个人思考，一点儿也不像这个年龄的孩子。
小牛顿不大爱理人，也很少见到他的笑脸，只有去市集买东西的日子例外。那天，他总是在屋顶阁楼上往窗外望，一看到马车经过就高兴地拍手。马车上放着青、黄、红等鲜艳色彩的物品。早上，马车经过窗口以后，慢慢地由近及远，从豆粒大变为蚂蚁大；黄昏，牛顿看到由蚂蚁大变成豆粒大的马车接近了，就跑下来去迎接受托买东西的爱丽莎阿姨，从爱丽莎手上接过所购物品。