本来皇上已经改了主意让四阿哥不必马上到独石口去了，偏偏在这个时候三阿哥去皇上那里告了一状，称四阿哥奴才顶撞三阿哥，使得皇上一气之下，让四阿哥即刻起程去独石口。允袐王爷让四阿哥把蓝珠色交给慎刑司处置，免得连累了自己。四阿哥觉得蓝珠色毕竟冒犯的是三阿哥，慎刑司的板子会要了他的命。四阿哥坚决要带蓝珠色一起走，把六阿哥留给了小叔叔允袐来照顾。
朱师傅和慧如也决定到独石口去照顾四阿哥，敦儿给了他们很大帮助，不仅把慧如母亲安排到自己家住，还把自己的贴身丫鬟迎春给了慧如。允袐一直将四阿哥送出城外很远才离开，并且嘱托护送四阿哥到独石口的弘升，叫他一路多关照四阿哥。在一个驿站里，四阿哥为了阻止弘升对客栈老板女儿的无理行为，与弘升发生冲突。
晚上皇上在养心殿暖阁召见允袐，仔细询问了四阿哥出城的情况。还叫来了熹贵妃一起用餐，真可谓可怜天下父母心。四阿哥走了，田师傅为了达到当帝王师的愿望，对三阿哥极力扶植，对其功课要求更为严格，这让本不爱读书的三阿哥很苦恼。
皇上来到上书房看功课，三阿哥和五阿哥为四阿哥离开上书房的事，装作难受的样子，皇上告诉他们只管学好自己的功课其它的事叫他们不要管。皇上迟疑的看着四阿哥的书桌，田师傅请求把书桌撤掉，皇上却让他先留着，其实皇上心里还是盼望着四阿哥有一天能回到上书房。
四阿哥、蓝珠色和弘升等人来到独石口。弘升让驻防官额勒根将军把满城最破的房子腾出来给四阿哥住。朱师傅、慧如和迎春也随后来到了独石口，慧如进城后第一件事就是置办了各种锅碗。她们见到四阿哥后，就开始打扫院子收拾屋子。
大家彼此在这个苦寒之地互相照顾，一起在这个名为退思院的小院子里过着平民一样的生活。弘升拿起额勒根给皇上写的密折，并将其内容进行改动后，让额勒根重新腾一份带给皇上。
晚上田师傅来到图书室看三阿哥和五阿哥复习功课，见到三阿哥把辫子悬在房梁上呼呼大睡，便失望的回家了。
慧如骑马出去采野菜，在山上碰见了一位叫一青的道长。一青道长随慧如一起来到退思院，与大家一起共进早餐。一青对四阿哥讲起自己在此地的真武庙，还收留了病人，现在是无钱无靠。四阿哥听后，忙让迎春拿出十两银子给了一青。
弘升回到京城见到了田师傅，并且把密折抄本给田师傅看了，田师傅称这回可找到了帮助三阿哥的办法了。三阿哥为表明自己的孝心，还经常来看皇后和熹贵妃。皇上看到密折上说，四阿哥纵奴行凶，殴打贝勒，气愤不已。在田师傅和庄亲王的鼓动下，决定让四阿哥自己处置哈哈蓝珠色。以四阿哥的忠厚仁义必定是要把他置身于难堪之地。
由于四阿哥离开了上书房，六阿哥也不愿意再去上书房了，皇上只好亲自送他到上书房，并且告诉三阿哥和五阿哥要好好照顾六阿哥。朱师傅把挂在上书房的那副御笔联“读书以明理为先，做人以至诚为本”贴到了退思院，他要教四阿哥在那里继续读书，可是四阿哥被蓝珠色的事困扰的显然是心力交瘁。
