民国十五年（1926年）4月9日，冯玉祥将段祺瑞驱逐下台。失去了北京临时执政宝座的段祺瑞回到了天津，定居在自此，年已六旬高龄的段祺瑞告别了中国的政治舞台。

在天津隐居，段祺瑞没有经济来源，只得靠旧部和学生的资助来度日。幸亏他的旧部和学生很多都在北洋政府担任高官，所以生活还能维持下去。但是段祺瑞毕竟是下野之人，风光不在了。为了节省家中开支，从不过问家里日常开销的段祺瑞，在天津也认真地管起家务，每日账目他都要过目审核。

当时段祺瑞表面上声称厌倦了政治，但他其实每天都还在读报，关注时局的发展。段祺瑞见如此情形，也就彻底断了自己东山再起的梦想。

他希望借助段祺瑞在北洋军人中的威望和影响，建立华北伪政权，为其侵略服务。段祺瑞虽然热衷于权力，但是对于出卖国家主权、当汉奸，他是没兴趣的。因此断然拒绝了土肥原贤二。

对于段祺瑞的声明大义，南京政府方面非常感激。因为南方要剿共，北方还要抗日，南京政府有点心有余而力不足了。此时蒋介石正在北京，在蒋的授意下，蒋先生说自己是保定陆军学堂的学生，段公是我的老师，我因为公务太繁忙，不能前往天津看望先生。这次会见后，蒋介石派吴忠信去天津拜访了段祺瑞，并送去两万元生活费。随着日军侵略华北的加剧，南京方面认为如果段祺瑞仍然住在天津日租借，恐怕会有生命安全。便安排了中国交通银行董事长钱永铭，让他到段祺瑞的公寓，邀请他南下。钱永铭这次天津之行，带去了蒋介石的亲笔信。在信中蒋介石恳请段祺瑞南下颐养，并表示只要段祺瑞愿意南下，什么都可以商量。恰巧当时社会上传消息，说日本人要劫持段祺瑞。在途经山东时，山东主席韩复渠带领济南大小官员在车站迎接。韩复渠曾经是冯玉祥的十三太保之一，段祺瑞本来是不想见的。但是值此国家内忧外患之际，段公还是选择了与韩复渠握手言和。

火车到达南京浦口车站时，站台上呈现的情景让段祺瑞感到既意外，又欣慰。。第一件事是，发表力挺蒋介石以和国民政府的讲话；第二件事是，拜谒了南京中山陵。当年孙中山北上，段与孙曾发生过严重分歧，孙在逝世北京时，段祺瑞赌气没有出席葬礼。此次段祺瑞拜谒中山陵，一方面是承认了国民政府的统治地位，另一方面则是意在告诉国人，国难当头，团结第一。一切私人恩怨都可以放到一边。

在忙完这一切后，当天夜里，段祺瑞同随员乘快车赴上海。蒋介石电令上海市政府负责接待安排。毕竟六十八岁了，没必要待在南京这种全国的政治中心。远离南京，但又离得不太远，这才是明智之举。

段祺瑞去到上海后，蒋介石每个月都会给他送一万块的生活费。并且还精心的给段祺瑞安排在了军事参议院院长陈调元的公馆。拨款了二十万元，用于段公的墓地购置。并且林森、居正、于右任、吴忠信、张治中等国府要员亲临吊唁。但是段祺瑞的儿子段宏业却将二十万治丧款给花掉了。结果就导致段祺瑞的灵柩运回北平后，没有钱安置。最后还是宋哲元出面，筹集了两千块，才将段祺瑞的灵柩暂停放在了西山卧佛寺的一处新搭建的房屋内。谁知这一搁置就搁了整整二十八年，一直到

段祺瑞的墓碑背面刻着段祺瑞的遗训，而正面也没有任何官衔，除了家属亲人的名字外只有八个大字：合肥段公芝泉之墓。