二十六（一九三七）年底，南京沦陷，国民政府迁往武汉、重庆。戴笠奉令把杨虎城转押到后方较为偏僻的地方，以便看管，杨乃先后被迁到湖南长沙、益阳等地。翌（二十七、一九三八）年冬，武汉撤守，又转送到贵州。
在贵州，杨虎城最初被监禁的地方是息烽阳明坝的看守所。这地方后来成为军统局的一个重要监狱，也就是息烽监狱，可容纳三、四百人。二十八（一九三九）年，戴笠到息烽视察，认为杨虎城被监禁的的地方，离公路太近，不够安全，于是在息烽县城东十二华里的一个极为偏僻的山顶上，找到一个名叫“玄天洞”的山洞，这个山洞只有一个出入口，易于警戒。戴笠就把洞中的一个道士赶走，把杨虎城全家转押在这个山洞里。玄天洞终年不见天日，洞里异常潮湿。在这恶劣的环境中，再加上精神方面所受的重重折磨，杨虎城的身体一天天衰弱，常常闹病。后来不得已请准自己出钱在洞外盖了一个简陋房子。据传看管他的人真“缺德”，只准杨氏夫妇轮流在洞里泂外住，不准同时住在泂外的房子里。
此时张学良被关在修文，与息烽是邻县，可是消息封锁，张、杨均不知对方的所在。在此长久囚居期间，杨虎城的物质生活，远比张学良为差。因为军统局对他们的供应，差异很大，杨虎城因而更为痛苦。当时奉派常去看杨的军统局总务处长沈醉曾说：“当时法币贬值，物价高涨，杨穷的想换一套新棉衣都不容易。……天天缺这少那，使他常为生活上的一些问题感到苦恼。”
民国三十（一九四一）年，杨妻谢葆真生下一个女儿，患难中孩子出世，更为他们带来无限的忧伤。谢葆真因为受不了长期折磨，渐渐有些神经失常。于是负责看管的人报奉军统局核准，把她送进玄天洞里单独去住。经杨再三请求，才答应让她住在洞外自建的房子里，杨则搬进泂中，夫妻从此分居。
民国三十四（一九四五）年八月，抗战胜利。杨虎城满怀喜悦和希望，认为他将获释放。次（一九四六）年春，重庆举行政治协商会议，好多人向当局提出请求恢复张学良和杨虎城的自由，结果都落了空。是年夏，军统局把在息烽的所有单位全部结束，迁并到重庆，决定把杨虎城也迁往。杨闻信又怀将可被释的希望。谁知到了重庆，仍被关在郊区歌乐山下面原“中美合作所”所在的杨家山一座平房中。这时他完全绝望，终日嗟叹不已，杨妻更加气愤，终于受不过煎熬，于三十六（一九四七）年病故。杨氏悲痛异常，日夜以她的骨灰盒子为伴，睡觉时也要放在枕边，成天抱着幼女，老泪纵横，饮食锐减。不久，杨患了很重的胆石病，被送到原由军统局所办的“四一医院”时已改为中央医院砂磁分院去开刀。医生从杨的胆囊中取出结石一把，说是多年来在息烽玄天洞饮了含矿质很多的泉水所造成。杨的病好转一点，又将其移回原处，此时他心情异常烦燥，常为了一些小事同看管他的人争吵。负责看管他的龚国彦曾告诉沉醉：“我同杨虎城有次散步走到杨家山后面，看到一座坟墓，坟前石槛上刻着‘杨氏佳城’四个字。杨很感慨的说：‘怎么这样凑巧，这同我的姓名只差一个字。’话刚说完，抬头一看，两旁华表上正刻着‘龙盘虎踞’四个字，他当时触景生情，长叹一声：‘我的姓名这里早都有了，我今天住在这里，将来也必死在这里无疑。’”从此他就再不到那里走动了。
民国三十八（一九四九）年，大陆局势逆转，蒋先生暂时引退，李宗仁代理总统，国共举行和谈。李宗仁接受中共方面的要求，下令释放张学良和杨虎城以及其它被关的政治犯。当时重庆“中央日报”透露此一消息，杨虎城闻之大喜。可是重庆市长杨森接到李宗仁的命令后，无法执行。他就一面给李复电推搪说，保密局负责人毛人凤不在，杨虎城关在什么地方无人知道。同时通知保密局西南特区区长徐远举、副区长周养浩，赶快打长途电话请示在上海的毛人凤。毛人凤也拿不定主意，当时蒋先生隐居溪口，他就向溪口请示，未得要领。但是李宗仁所派到重庆接载杨虎城的飞机就要来了，他们乃采取紧急措施，决定杨虎城转移到贵阳。当徐远举去找杨虎城劝他转移时，杨指着徐大发脾气说：“李代总统要释放我，你们为什么还要把我转移地方？我不是小孩，今天转这里，明天转那里，我不走，要死就死在这里。”徐远举无奈，就请周养浩再去劝杨，因为他知道杨对周比较信任。
