民国二十六（一九三七）年阴历中秋之夜（国历九月十九日），张学良指定要到附近名胜妙高台，赏月过节。刘乙光即为准备了三桌饭菜，大家都去共餐，张氏夫妇与刘的全家和队附一桌，其余随伴人员两桌。那时全面抗战，正在全国各地展开。张氏以国难家仇，坚主抗战之身，此时却囚居山中，难偿对敌拼斗之愿。眼看锦绣河山，遭敌蹂躏，炎黄子孙，饱受劫难，久埋心中的抑郁愤懑，实难压抑，因此借酒浇愁，多喝了几杯，他情不自禁慷慨激昂的挥着手对大家说：“现在日本鬼子大举来侵略我们祖国了;我带你们打日本去。”酒后露真言，难免引起人的注意。就在赏月后的第三天，阳历九月二十一日，阴历八月十七日，招待所突然起了一场无名大火，把所有房舍付之一炬，片瓦无存。张氏及随伴人员，顿时无处容身，暂在雪窦寺住了两天。旋奉上面指示。移住安徽黄山。

　　他们往黄山搬家，声势和气魄可够瞧了。南京派来了几部小轿车，内中有一辆是宋子文送给张氏的保险车。十三、四辆大卡车，浙江保安处增派的两辆大卡车。每辆卡车上都装置一挺对空高射机关枪。浩浩荡荡，开往黄山，住进段祺瑞的别墅“居士林”这是段晚年所建准备修佛念经的地方，可是他没在此住过一天。张学良此行是于凤至夫人陪伴，赵四小姐则在上海，稍后上海沦陷，赵四小姐移住香港。直到三年以后，她才辗转到了贵州，赵来于去。从此就再未晤面了。

　　张学良移住黄山的第二天，附近歙县县政府派人上山，请刘秘书赶快去接南京来的长途电话，刘立刻跑去接听，原来是蒋先生亲自打来的，命令他们马上离开黄山，到江西萍乡去待命。于是他们赶紧准备，匆匆登程，在黄山住了不到十天，就往江西出发，送行两天，便到萍乡。萍乡地方小，逃难的人多，秩序有点乱。张等在其地“待命”不到一个月，军统局来电立即迁到湖南郴州。此时张的表情很沉闷，他叹了一口气对人说：“唉，日本人打来比我们跑的还快，我们还没有住定，又要奉命跑了，跑远一点好吧！”说罢就去看看墙上挂着的地图，不住摇头。

　　又走两天，就到郴州。军统局指定住在离县城四华里左右的苏仙岭上的“苏仙庙”，由山麓登上山顶这个古庙，又有七、八华里，算是离尘埃较远了。张学良以为这就是目的地，以后就在山上度过，情绪比较安定，常在读书看报，他藏书很多，每次移居都要很小心的装箱携带。他关心时事，看报纸很仔细，每到一处，必定把地图挂起来，随时与报纸对看。二十七（一九三八）年春节就在这个古庙中度过。一天，张要到县城内一家浴室洗盆浴，刘乙光与张并肩而行，十几个警卫人员陪随于前后左右。张那天穿长袍，途中遇一位国军炮兵中校，迎面而来，发现张氏，立即向之恭敬的立正敬礼。张异常镇静，若无其事的走自己的路，未予还礼，也未与那个军官说话打招呼。可是却把刘乙光等人吓坏了，这里怎么会有人认识张？而且还是一位炮兵中校？于是就对张扯谎，说是浴室人多不空，请他改天来洗。张氏笑说：“那就回去吧。”后经打听清楚，那个炮兵中校是张的旧部，现任炮兵旅炮兵团的副团长，这个炮兵旅是东北军炮兵改编而成，最近才调驻郴县。刘乙光惟恐那个炮兵部队知道张住在苏仙岭，突然发生意外行动，如何得了。于是就采取紧急措施，移居于离彬州三十公里的邻县一个镇上的空小学校中，并向上级报告。不到一个月，军统局又命令迁移湘（湖南）西沅陵。张闻信闷闷不乐，在搬家的前一天，他看墙上挂着的地图说：“东北这块好地方，现在不知道变成什么样子了？”又指着湖南地图说：“我们在这儿又能住多久呢？”

　　张学良到达沅陵，住在军统局指定离县城二华里的凤凰山上凤凰寺，此地风景绝佳，据说胜过溪口的雪窦山。张学良住在这里的时候，戴笠曾来住过两天，有所安排。湖南省主席张治中也曾来访。在此以前他刚到黄出的第二天，安徽省主席张的故旧刘尚清也曾来看过他，从此以后，就再也没有达官显宦理他了。军统局对他的生活待遇，也一天一天的逐渐下降了。张的心情自然也更为烦闷了。