由于曹丕和曹植忙于竞争继承权，司马懿和杨修之间的关系也变得日益对立。

建安二十年，曹操平定了汉中后，司马懿提议立即讨伐刚夺取蜀地、根基尚浅的刘备。

然而，杨修则认为刘备已在益州立稳脚跟，而且曹操初定汉中，民心尚未稳定，凉州刚刚归附不久，发动仓促战争恐难以奏效，并可能导致国力衰竭。

曹操最终采纳了杨修的建议，没有立即开战，反而留下了“得陇望蜀”

的典故。

到建安二十二年，曹操当上了魏王，司马懿再次献计直接称帝，但未获曹操接纳，反而被逐出丞相府，安排到曹丕麾下任职。

建安二十四年，汉中之战后，随着曹植地位式微，杨修因种种缘由被曹操处死。

曹丕事实上已成为魏王太子的继承人，司马懿也被提拔为“太子中庶子”

，位列曹丕身边重要的辅臣之一——即所谓“太子四友”

。

其中陈群、吴质、朱铄三人均在内政管理方面有所建树，但在战略上，唯独司马懿最为出色。

曹操去世后，曹丕代汉建立魏朝，改元黄初，司马懿相继被提升为尚书、御史中丞，并被封为安国乡侯。

因治理黄河水患有功，司马懿于黄初二年进一步升迁为侍中、尚书右仆射。

此时，他已是魏朝廷中的重臣，除了几位年迈的元老如贾诩、王朗、华歆，在文官中已无人可与他匹敌。

黄初五年，曹丕因伐吴之败耿耿于怀，决定再度挥师前往濡须口，以图一雪前耻。

此行中，他麾下的名将如曹休、曹真、夏侯尚、张合、徐晃及文聘纷纷出征。

曹丕将粮草补给等后勤事宜委派给了司马懿，并授予其五千精锐和临时军事权力。

这使司马懿首度触及兵权。

俗语云：“凡事宜慎重启端，始则易于掌控，续后便难收束。”

曹丕对司马懿赞赏有加，赞许他为“萧何再生”