东汉末年军阀混战时，公孙度据有辽东。他对曹魏是时归附时背叛，一直保持着半独立的地位。公孙渊继任辽东太守后，对曹魏更加不逊。魏明帝震怒，于是派荆州刺史毌丘俭出任幽州刺史，带兵前去讨伐。恰好辽水大涨，毌丘俭只好返回驻地。

如此一来，让公孙渊更家猖狂得意。景初元年，公孙渊背叛魏国，自立为燕王，定都襄平。随后，他遣使南通孙权，封拜边民，诱呼鲜卑，侵扰北方。他的行为，是公然挑衅曹魏，魏明帝决定派兵讨伐他。魏明帝把父亲的忠告抛掷脑后，任用司马懿，命他担任此次的指挥。

景初二年初，司马懿率领牛金、胡遵等四万步骑，从京师出发，向辽水挺进。

得知曹魏派出了兵马，司马懿还是指挥官，公孙渊立即命大将军卑衍、杨祚等人率步骑数万，依辽水围堑20余里修筑工事，以阻击魏军。司马懿采用“声东击西”之计，佯攻围堑，吸引敌军的主力。实际上魏军的主力隐蔽渡过辽水，逼近襄平。公孙渊的主力军无法及时回援，三战皆败，魏军趁机进围襄平。

适逢连下大雨，辽水暴涨，魏军很担忧，诸将想迁营。司马懿却下令有人敢进言迁营，斩！而公孙渊的军队乘雨出城，打柴牧马，丝毫不受影响。这时，魏将请求出战，攻打敌军，也被司马懿阻止。众人不解，有人问：”当年攻打上庸，八路并进，昼夜不停，所以能在一旬半时间里拿下坚城，杀死孟达。这次我们远道而来，为何行动却更加缓慢？”

司马懿回答道：“孟达虽然军队人数少，但粮草能坚持一年。而我们的将士人数是孟达的四倍，粮食只够一个月左右，故我们要速战速决。现在敌多我少，粮食敌军却不如我们。再加上大雨，速战是不可能的。自出兵开始，我就不担心敌人的进攻，而是怕他们逃跑。敌军虽然饥困，也不肯就擒。这时要做的是稳住敌军，不能因为小利而打草惊蛇。”他想一步步从心理上摧毁敌军的意志，拖垮他们，然后生擒公孙渊。

一个月后，雨终于停了，水也退去。魏军包围了襄平，昼夜强攻。敌军没了粮草，饿死了不少人，杨祚等人投降。城内的百姓、将士愈发恐惧，公孙渊也不例外。八月，他派使者向司马懿请求解围，司马懿杀了使者；他又定期向司马懿送人质，结果司马懿拒绝人质。公孙渊只好从城南突围，司马懿率兵包围了他。最终，公孙渊战死在梁水边上。

入城后，司马懿下令屠杀十五岁以上的男子，达七千多人，然后收集尸体，筑造景观，供百姓观看，以震慑城内的军民。他还下令斩杀了公卿以下的所有文官武将，两千多人被斩首。司马懿一直是一个心狠手辣之人，他的狠毒，不仅是拿来对付敌军，对待自己手下的将士亦是。

辽东之战结束时，该地区非常冷，军中有士兵衣着单薄，被冻得瑟瑟发抖。于是，将士们请求司马懿派发短袄以御寒。当时，魏明帝给了将士们一仓库的冬衣御寒。没想到司马懿却说：“棉袄是官家之物，我身为臣子怎能私自施予士兵？”

实际上，这是司马懿用来“自污”的方法。他作为主帅，有权利分配这些棉袄。但他平定辽东之后，自己的功劳最大，威望也会进一步提升。如果再拿官家之物拉拢人心，势必会引起魏明帝的猜疑。因此，他宁愿背着虐待军士的骂名，也要证明自己的忠心。

果然，魏明帝不再怀疑他，甚至临终前还把太子托付给司马懿。他就这样获得了大权，在11年之后，发动“高平陵事变”，诛杀了曹爽一党，为司马一族建立西晋王朝打下了基础。