他说：“我已经80多岁了，眼睛又看不见，一出去就要带随员，需要花许多钱；而我出去却做不了什么工作，白白地浪费国家钱财，也给地方增加许多不必要的负担。所以，还是不出去的好。
自1977年底担任中央军委顾问以来，黄克诚一直安居北京，直到逝世，从未离开过。他常常对身边的工作人员说：“我们都是国家干部，吃穿用都由国家负担，这都是人民的血汗。游山玩水，大手大脚挥霍国家钱财，那不是共产党人所为，是国民党作风！”
在北京，他一直住在那栋很简陋的房子里。
这栋房子是解放前留下来的，破旧不堪。夏天下雨时，雨水沿着墙壁多处渗漏下来；冬天刮风时，寒风从门缝、墙角穿过，陈旧的锅炉不管怎么烧，温度也上不来。
看到这种情况，管理部门多次劝黄克诚搬迁或者翻修住房。他们考虑到像黄克诚这样劳苦功高而且年迈多病的首长，住在这样一个地方里很不合适。但是，黄克诚就是不答应。
他对管理部门的同志说：“现在国家还很穷，群众住房更困难，在北京有许多家庭几代人同住一间房子。我现在的住房条件，比起他们，不知要好多少倍。不搬迁、不翻修，照样可以住，还是把搬迁、翻修的钱节省下来，用在当用之处吧！”
管理人员说服不了黄克诚，房子还是没有搬迁和翻修。
有一次，从房顶掉下一块朽木板，正好砸在黄克诚的床边，幸亏没有砸伤他。在这种情况下，管理人员再次提醒黄克诚，要求进行翻修。这次，黄克诚才同意把房子简单翻修一下。后来，他听说维修费要花好几万块钱时，坚决不同意。他说：“一个破房子花这么多钱去维修没有必要，哪里坏了就把哪里修下好了。简单地修修，下雨和下雪不漏水就可以了。能节省一点就节省一点嘛！”
按照黄克诚的意见，管理人员从工程连里抽调了几个小伙子，爬上屋顶，把漏水的地方修补了一下就完事了，前后只花了半天的时间。
黄克诚的住处是在王府并附近的闹市上，住房附近有个消防站，汽车报警器经常出其不意地狂叫起来。黄克诚经常在睡眠中被吵醒。身边的工作人员都劝他，这里吵得太厉害，还是换个安静的地方住，这样对养病有利。管理部门也要给他调换一所安静的住宅。但是，黄克诚不同意。他对工作人员说：“这里确实是有点吵，但并不是不可以住，一搬家就得花钱，没有这个必要。再说，我怕吵搬走了，别人来住不是照样吗？”
黄克诚家里的暖气，是由烧煤取暖，热量不足。年轻人坐在屋里还冻得直跺脚，更何况一个年迈多病的老人。
在这种环境里养病，当然达不到预期的效果。工作人员都在动脑筋想办法解决这一问题。
恰好，在黄克诚家门前的地下就有一条热力管道，工作人员连忙把这一情况反映到有关部门，希望能够对暖气进行改装，换成由热力管道供给暖气。
服务部门立即行动起来。他们很快派出水暖工掘开了管道周围的土，屋子里外满是坑坑沟沟，眼看就要安装管道了。就在这时，黄克诚从工作人员口中得知，这次暖气改装要用去近两万元，他立即又不高兴了，说，“你们怎么能这么大手大脚地花钱？现在国家不富裕，把钱用到其它地方去。我这里能烧煤取暖就已经不错了！”
就这样，已经挖开的地下管道又填上了土，准备好了的暖气设备又退掉了。
一天，黄克诚发现工人在院里运了许多砖，而且还在不断地运着。黄克诚问工人，拉来这么多砖干什么，工人告诉他：“你们家这个楼的大门又低又旧，很不成样子，准备修一个好一点的大门楼。
黄克诚一听，马上就火了：
修那个东西干什么？现在这个铁门虽然旧点，可是蛮结实嘛。像这个图门面的东西，咱们宁肯将就点，也不要乱花钱。”
修门楼的事，就这样被制止了。
第二年，身边的工作人员考虑黄克诚在如此简陋的“将军府”里待下去，对身体康复不利，于是又想个点子，劝他到玉泉山去住一段时间。
一开始，黄克诚还是不松口，总说事情多，身边还有不少工作，哪有时间去疗养。后来，大家都说，到玉泉山又不是离开北京，在那里照样可以工作，他才答应了。不过，黄克诚提出了两个条件：一是家里人包括老伴都不要去；二是他去了之后，伙食费不要补助，吃多少由他自己负担。
工作人员答应了，他才到了玉泉山。
