1938年4月，时任陕甘宁边区政府主席的张国焘利用祭黄帝陵的机会离开延安，脱离他亲自参与缔造的中国共产党，踏上一条不归路。脱党是一件严重的事，所以他做得很机密，连妻子杨子烈都不知道。杨子烈回忆，最初还以为他受命去西安或其他受命地方从事机密工作去了，心中还责怪他不对自己讲，又不好意思去问任何人。她做梦也想不到丈夫会脱离千辛万苦参与创立的这个党，就是张国焘本人恐怕也是初料不及的。杨子烈说：

过了差不多快一个月，并未见到国焘回来；也未有只字给我，我心中虽难过，也羞于去问谁。这是两种心理在作祟：第一，因为共产党在秘密工作时代，谁未负责该项工作，谁也不应知道该项工作的秘密，况那时白色恐怖利害，同志们知道党的工作秘密越少越好，十数年来我就养成了这种习惯。第二，国焘是我的爱人，最亲爱的了。他走向何处去，竟不对自己讲，问别人（这是以前从未有过的事），别人还能讲吗？离别将近七年了，才相聚数月，竟又不告而别，我在盛气之下，更不愿去问他人了。

差不多过了一个月，中组部来电话要她速去一趟，她还以为是恢复她的党籍，心中异常欣喜。她在上海与党失去了多年联系，好不容易到了延安，组织不信任她，没有恢复她的党籍。到了中组部，陈云将她请到一个房间，低声说：“子烈同志，你知道吗？最近党内发生了一件震惊全党的大事。”她惊奇地表示自己一点也不知道。陈云紧皱双眉、低着头告诉她：“国焘走了！”随后，陈云交给她一封信：“国焘有一封信给你，他在汉口等你，你去不去？”她满心想去找张国焘，恨不得马上能看见他，一时不好意思出口，只低声说：“我考虑一下。”陈云看她大腹便便，问她有几个月身孕了，她说六个月。陈云异常关切地说：“那你要好好当心！若果有同志们闲言闲语，你来告诉我好了。”

张国焘的信很简单，大意是：“子烈贤妻吾爱吾妹：不告而别，请妹原谅。我在延安苦闷，现到汉口等你，希望妹携爱儿海威来汉口……”信是4月初在西安写的，那一天是5月16日，也就是信到延安已有一个多月。她突然发现，过去熟悉的同志见到她变得冷淡，从前的笑容不见了。她感受到了世态炎凉、人情冷暖。次日上去她去见毛泽东，刘少奇、张闻天都在，她还没开口，知道就热烈的走近她，很和蔼的轻轻在她的肩上一拍，似认真又诙谐的大声笑着说：“好呀！子烈，国焘把你丢下，跑了！”她好半天才强自镇静地说：“他为什么要走？我不明白！我想去汉口找他，问个明白，把他找回来。”“好呀！你若能把国焘找回来，那你就是共产党的大大功臣。”毛泽东高兴得伸出右手大拇指。刘少奇亲切地对她说：“子烈！到我那里来玩嘛。”她回忆，张闻天紧绷着一张“布尔什维克”的脸，好像没看见她一样，昂着头，站起身，一声不响走了。

过了数日，她见到李富春，正式提出去汉口找张国焘，请组织部批准。李富春回答：“让中央开会决定，然后再通知你。”那些日子，怀有身孕的她忧心忡忡，常常茶饭不思，暗自流泪，在人前还要强忍泪水。终于等来了李富春的答复：“中央已经开过会，决议你不去汉口，小孩子将来仍然可以送到莫斯科读书。”她再也忍不住泪水，双手掩面痛哭，“不，我要去！我要到汉口去看看国焘！”

她给中央写信，不是自己要回故乡湖北乡下去生孩子。三四天了杳无回音，她带了儿子去中组部找陈云、李富春问，李富春“铁青着脸粗声粗气的说”：“中央开会时，毛主席决定不要你走!组织部不管。”陈云“温和的轻声问”：“孩子有几个月了？”她说七个月了，陈云低声说：“要走，就快走！”她立即爬了几个土坡去找毛泽东，说：“毛主席，我想回家养孩子，你批准我吧！”毛的声音很低：“那是组织部管，你去找他们。”她恳切地说：“不，我刚才从组织部来，富春同志说是你决定的，你们两处，你推他，他推你！那怎么行？你看我大着个肚皮，跑来跑去，实在跑不动了！你现在就干脆写张条子给我吧！”正在写文章的毛泽东提笔在白纸上写了“让子烈同志回家吧！”一面写一面说：“你是好的，一切都因为国焘不好。现在国焘已被戴笠捉去了。戴笠是什么人，你知不知道，他是国民党的大特务呀！你去了汉口以后生养孩子的一切费用，党都可以负责，你无论任何时候都可以回到党里来。”靠了这张纸条，杨子烈带着孩子、还有妹妹离开延安。