明太祖经常写信给刘基，询问天象，刘基都非常详细地逐条回答，然后将其草稿烧掉。刘基大致说，霜雪之后，必有阳春，现国威已立，应当稍微采用宽大政策来治理天下。刘基隐居后，只是饮酒下棋，从不提起自己的功劳。青田县令求见，被刘基拒绝，于是便穿着便服，装成乡野之人去见刘基，刘基当时正在洗脚，便让堂侄将他引入茅舍，以黄米饭招待。县令这时才告诉刘基：“我是青田知县。”刘基大惊起身称民，然后谢罪离去，终不相见。

刘伯温 图来自网络

最初，刘基说瓯、括之间有一块空地叫谈洋，南抵闽界，是盐盗的巢穴，方国珍由此叛乱，故请求设巡检司守卫，民众叛乱便不那么方便了。时逢茗洋逃兵反叛，官吏都匿而不报，刘基便令长子刘琏将此事上奏，但未先通报中书省。胡惟庸当时正以左丞相的身份主管中书省，对以前与刘基的过节怀恨在心，于是便派手下官员攻击刘基，说谈洋这个地方有帝王之气，刘基想将它作为自己的墓地，因为当地百姓不答应，刘基便请求设巡检司将百姓赶走。明太祖虽然没有加罪于刘基，但颇为这些言论所打动，因而剥夺了刘基的俸禄。刘基心中害怕，入朝谢罪，然后呆在京城，不敢返乡。不久，胡惟庸当了丞相，刘基悲叹道：“若是我的话不应验的话，那便是苍生之福了。”遂因忧愤交加而发病。

洪武八年（1375年：刘伯温64岁），刘基不良于行，但仍和京官参加元旦的早朝，随后在奉天殿做了一首《乙卯岁早朝》，这虽属于歌功颁德的应酬文字，但诗中仍可以看见刘基的心情。正月中旬，宋濂的门人刘刚来到刘基的住处，商请刘伯温将宋濂的百余卷作品，摘选并编辑成书，又请刘基为之序。正月下旬，刘基偶感风寒，朱元璋让胡惟庸派医生来给他治病，刘基吃了药后，腹中便出现了像拳头大的石头一般的异物[26]。二月中，刘基抱病觐见朱元璋，婉转地向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。朱元璋只是讲些安慰话，这使刘基相当的心寒[27]。三月下旬，病情恶化，明太祖亲自撰文赐给刘基，由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡[28]。到家后，病情加重，便将《天文书》授给长子刘琏，说：“我死后你要立刻将这本书呈给陛下，从此以后不要让我们刘家的子孙学习这门学问。”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。平日在位者若能以身做则，祈求上天佑我朝永命万年。”又继续说道：“本来我想写一篇详细的遗表，向陛下贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。不过，等胡惟庸败了，陛下必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向陛下密奏吧！”最后于四月十六日卒于故里，享年六十五岁。六月，葬于乡中夏中之原[29][30]。

武宗正德八年（1513年），朝廷赠他为太师，谥号文成。世宗嘉靖十年（1531年），因刑部郎中李瑜的建言，朝廷再度讨论刘基的功绩，并决议刘伯温应该和徐达等开国功臣一样，配享太庙[32]。