一天，林彪领着几个连长来见陈毅，他们都是黄埔四期生。林彪说：“现在部队不行了，一碰就垮了，与其等着垮了当俘虏，不如现在穿便衣，到上海另外去发展。”其他几个人都附和，劝陈毅带他们走。
陈毅明确表示他不走，说：“现在我们拿着枪可以杀土豪劣绅，他们怕我们。一旦离开了队伍没有枪，土豪劣绅就要杀我们。我们要经得起失败的考验。”
结果，其他几个连长被陈毅劝住了，只有林彪独自一人离队。
但没走多久，林彪又回来了。因为走到梅关时，他看到了国民党军在搜查、抢夺、打人、杀人，他想：“这样送命太不值，不如回去。”中午时分，林彪回到了部队。
回来后，林彪立即到团部检讨了自己动摇、逃跑的经过，并对天发誓不再犯二过，团里的几位首长被林彪改错的诚心所打动。他们认为，现在开小差已是司空见惯，林彪能主动归队，这说明他已把个人命运与革命事业联到了一块。大家一致宽恕了他，让他官复原职，继续当7连连长。
古往今来，士兵开小差，这是军队中最忌讳的问题。林彪这位曾经开过小差的连长，后来居然成为统兵百万的一方战区总司令，恐怕连他自己也未料到。
1945年，林彪已是一方战略区的统帅，为了和国民党争夺东北，肩负“东北人民自治军总司令”重任，在闯关东途中，针对部队可能发生的逃亡现象，提出了一些防范措施。1945年9月25日，林彪致电山东军区领导人罗荣桓、黎玉、萧华并转中央军委：“……在中央新战略方针下，十余万大军进行北上，转移时，防止逃亡，应视为一个重大问题，提议各部须为此召开会议，要认真研究动员的内容与方式，及各种具体的保证方法，并互相通报，交流经验……”