公元196年)，汉献帝在河内太守张杨、兴义将军杨奉等残余朝官的保护之下，回到了洛阳。杨奉被拜为车骑将军，驻兵大梁。徐晃见大将军兼司隶校尉韩暹和卫将军董承之间争斗日益加剧，就劝杨奉归附曹操，杨奉决定听从徐晃的建议。
建安二年(公元197年)，曹操保护着汉献帝要迁都许昌的时候，杨奉在韩暹的挑拨下又改变了归附曹操的主意，而是跟韩暹一起出兵去劫驾。杨奉在梁(即后世的开封)被曹军杀得大败。徐晃则趁机投奔了曹操。
从此，他便成为曹操的一名忠实战将，跟随曹操转战南北，为曹魏的创建屡立功勋。曹操分兵给徐晃，派其攻打卷、原武两地，破之，被拜为裨将军。又随曹操攻吕布，降吕布将领赵庶、李邹等。后与史涣在河内斩杀眭固。
建安五年(公元200年)，在官渡之战中，徐晃随曹操击败了投靠袁绍的刘备，
又随曹操击败颜良，攻克白马(即后世的河南滑县东北)，进至延津(即后世的河南延津北)，在此击败文丑，被拜为偏将军。后与曹洪击人祝臂，破之。九月，曹操出兵与袁绍作战，不胜而还，坚壁自守。时袁绍数千车粮草至官渡。
谋士荀攸对曹操说:“袁绍的运粮车旦夕间就到了，其押运粮草的将领韩勇猛但轻敌，出击可以将他打败“。曹操问:“谁可以担当这个重任?“荀攸说:“徐晃可以。“于是曹操派徐晃和史涣带着几千骑兵共同攻打韩猛，在故市(即后世的郑州西北)截烧其辎重。此战，徐晃功劳最大，被封为都亭侯。
建安九年(公元204年)二月，曹操利用袁绍死后袁谭和袁尚争立后嗣的矛盾，发兵北上攻打冀州。
曹操包围了邺城，攻破了邯郸，易阳令韩范诈降而自守，曹操派徐晃前去攻打，徐晃兵临城下，给韩范写了封信，用箭射入城中，陈明利害，劝韩范投降。韩范被说服后改变主张，决定以全城投降。
徐晃劝告曹操说:“如今袁谭、袁尚还没有被击败，没有攻下的城池都等待消息，如果今日灭了易阳，明日那些城池都会死命防守，河北就没有平定的那一天了。请求您招降易阳来给各城看，那样他们都会望风归顺。“曹操采纳他的意见，封韩范为关内侯。
接着，又收降了涉县(即后世的河北涉县西北)长梁岐，同样赐爵关内侯。曹操能够很快翦除邺城羽翼，攻克邺城，夺得翼州，和他听取了徐晃的这一建议是分不开的。
建安十五年(公元210年)，徐晃随夏侯渊去太原平叛，攻克大陵，斩其首领商曜。
建安十六年(公元211年)，以马超、韩遂为首的十部联军，聚集十余万人马，据守潼关抗曹。曹操发兵进取关中，徐晃奉命屯守汾阴，以镇抚河东。曹操至潼关后，遇到关中马超阻击，不得前进。
曹操问计于徐晃，徐晃说:“您已带大兵到此，而敌人不再分兵守卫蒲阪，可知他们缺乏谋略。请给我一支精兵，渡过蒲坂津，作为大军的先导，截断敌人的后路，就可擒住他们了。“
曹操至同意此举，并派徐晃、朱灵率四千精兵从蒲坂津(即后世的山西永济、陕西大荔朝邑之间黄河渡口)乘虚渡过黄河。阵地尚未建成，贼人梁兴夜间率步骑五千余人攻徐晃，徐晃将其击走，随即建立了桥头阵地。闰八月，曹军从此渡河。
九月，曹操又采纳谋士贾诩的计谋，离间马超和韩遂，最终大破关中军，斩成宜、李堪等。马超、韩遂逃往凉州(即后世的甘肃及宁夏回族自治区等地)。
当时征南将军曹仁驻扎在樊城(即后世的湖北襄樊)，将军吕常驻扎襄阳，左将军于禁及立义将军庞德驻扎在樊城北。徐晃(时为平寇将军)驻扎宛(后世的河南南阳市)，协助曹仁征讨关羽。
八月，大雨，汉水暴涨，于禁七军均被水淹，在关羽水军猛攻下，于禁被迫投降，庞德力战被俘杀。关羽乘胜围攻樊城，并以一部兵力包围襄阳。
此际，魏荆州刺史胡修、南乡(治南乡，后世的河南淅川东南)太守傅方，均降于关羽，陆浑(即后世的河南嵩县东北)人孙狼等，亦杀官起兵，响应关羽，关羽声势一时“威震华夏“。曹操认为汉献帝在许都，与贼临近，一度准备迁都，因丞相司马司马懿及曹椽蒋济劝谏而停止。
曹操采纳了司马懿利用矛盾破坏孙、刘联盟，以坐收渔翁之利的策略，派使者去见孙权。同时指令徐晃率军援救曹仁。徐晃所部多为新兵，难以与关羽争锋，于是进至阳陵坡驻扎(樊城北)，曹操派将军徐商、吕建传令:“要等到兵马集结后，一起出击。“当时关羽前部屯偃城，徐晃佯筑长堑，示以将切断蜀军后路。蜀军惧被围，烧营撤走，徐晃军进据偃城，两面连营，渐向围城蜀军逼近，徐晃军营距关羽所围仅三丈。
建安二十五年(公元220年)，曹操去世，曹丕即魏王位，封徐晃为右将军，进封逯乡侯。十月曹丕称帝，史称魏文帝，又进封徐晃为杨侯，与征南将军夏侯尚在上庸(即后世的湖北竹山西南)攻打蜀将刘封，破其军，刘封逃回成都后，被刘备赐死。因徐晃镇守阳平，迁封为阳平侯。后孙权派部将陈邵守襄阳，徐晃与曹仁共击陈邵，攻克了襄阳。
黄初三年(公元222年)九月，魏文帝曹丕率军首征东吴。魏文帝命征东大将军曹休、前将军张辽、镇东将军臧霸出洞口，大将军曹仁出濡须，上军大将军曹真、征南大将军夏侯尚、左将军张、右将军徐晃围南郡。
吴建威将军吕范督五军，以舟军拒曹休等，左将军诸葛瑾、平北将军潘璋、将军杨粲救南郡，裨将军朱桓以濡须督拒曹仁。但由于时机尚未成熟，准备仓促，曹丕首次征吴未能达到预期的目标。
黄初七年(公元226年)五月，魏文帝去世，吴国乘机派左将军诸葛瑾等攻襄阳，徐晃与司马懿击败诸葛瑾。徐晃因功增食邑二百，前后共计三千一百户。
太和元年(公元227年)，徐晃去世，谥曰壮侯，子徐盖继嗣。
正始四年(公元243年)，徐晃得享从祀于曹操庙庭。
徐晃一生俭朴，对自己约束很严，病死前还特别嘱咐叫埋葬他时敛以时服。
而且他每战有功，但很少邀功请赏，所以在曹操的军队中流传着一句话“不得晌，属徐晃。“徐晃用兵作战都把斥候派到很远的地方。先做出打不赢的样子，然后再奋勇作战，追杀敌人夺取胜利，兵士们常常忙得没有空闲吃饭，可谓别具一格。
徐晃常叹息着说:“古代的人常会忧虑遇不到贤明的国君，我现在有幸遇到了明主，尤其应当立功报效国君，哪里是为了个人名誉才做的!“