元嘉十六年（439年），进大将军，领司徒，辟召掾属，与宋文帝嫌隙加深 。
主相生嫌不过 ， 刘义康为人率性而行，不作避嫌，又因刘义康权倾朝野 ， 各处进贡物品时都会将最好的送到义康府，较次的才给皇帝 。而义康亲信的左长史刘斌、从事中郎王履、主簿刘敬文及祭酒孔胤秀见宋文帝病重不但表示应该册立长君，请刘义康准备顾命诏书 ， 而且还在刘义康不知情下到尚书仪曹那里取晋康帝继位往事的资料，宋文帝病好后都知道这些事 。刘斌等也结为朋党支持为相的义刘康，图将其推上帝位 ， 遂诬陷尽忠于国的异己者，令其获罪被黜 。于是皇帝和宰相之间就生了嫌隙 。
刘义康曾经想让刘斌任丹阳尹，但话未说完宋文帝就察觉其心意，立即就决定让刘斌任吴郡太守 。后来会稽太守羊玄保求还朝，刘义康又想让刘斌接任，特地去向宋文帝询问继任人?。?宋文帝当时还未想好 ， 但仓卒之间还是说已决定了用王鸿 。而自元嘉十六年（439年）秋季起，宋文帝再也没有去过刘义康的东府，宋文帝至此见帝相之间的矛盾已经趋于明显 ， 担心会生大祸 。
元嘉十七年（440年），刘义隆收杀刘义康的亲信刘湛、刘斌等一干人，又流放了刘湛党羽何默子等 ， 废王履于家 。当日，刘义康在中书省，在收到文帝所宣布刘湛等人的罪状后 ， 便上表求退 。宋文帝遂改刘义康都督江州诸军事、江州刺史，出镇豫章 。
元嘉十八年（441年），刘义康到豫章辞任刺史 ， 文帝加增督交广二州湘州之始兴诸军事 。
涉反罹祸元嘉二十二年（445年）十一月，徐湛之告发范晔、孔熙先等密谋拥立刘义康，于是范晔等以谋反罪被处死刑 ， 刘义康被废为庶人，流放至安成郡，更命宁朔将军沈邵为安成公国相 ， 领兵防守 。
元嘉二十四年（447年），胡诞世等人在豫章叛变，图立刘义康为帝，但很快被镇压 。当时江夏王刘义恭上书称刘义康有怨言，动摇人心，建议流放到更偏远的广州 。宋文帝听从并命沈邵领广州事，但刘义康未出发沈邵就去世 ， 遂一直留在安成郡 。
元嘉二十八年（451年），北魏大军南下至长江以北的瓜步，南朝形势严峻 ， 刘义隆深怕有异心的人会趁乱推举刘义康反叛，遂命中书舍人严龙带毒药赐死他 。刘义康以佛教称自杀者不得再世为人而拒绝服药 ， 严龙遂以被子闷死他，享年四十三，以侯爵礼节在安成郡下葬 。
宋孝武帝大明四年（460年），女儿刘玉秀等人上书请求让其还葬宗族墓群，得到批准 。宋前废帝时更获恢复宗籍，但在宋明帝时又被追废为庶人 。