建安六年，郡中推举他为上计椽。时曹操正任司空，听到他的名声后，派人召他到府中任职。司马懿见汉朝国运已微，不想在曹操手下，便借口自己有风痹病，身体不能起居。曹操不信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般。

建安十三年，曹操为丞相以后，始用强制手段辟司马懿为文学掾。曹操对使者说若复盘桓，便收之。司马懿惧之，只得就职。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主薄等职。司马懿在曹操手下任职，小心谨慎，勤勤恳恳，至于刍牧之间，悉皆临履。

建安二十年，曹操征讨张鲁，司马懿随军。他对曹操说刘备以诈力虏刘璋，蜀人未附而远争江陵，此机不可失也。今若曜威汉中，益州震动，进兵临之，势必瓦解。因此之势，易为功力。圣人不能违时，亦不失时矣。曹操说：人苦无足，既得陇右，复欲得蜀，没有采纳他的建议。