另一边厢，被直系军阀击败的段祺瑞和张作霖，联合南方的孙中山，组成了“反直三角联盟”。1924年9月，第二次直奉战争爆发，奉系军阀入关南下，直系军阀节节败退。10月间，原本属于直系军阀的西北军将领冯玉祥发动北京政变，囚禁曹锟，直军战败，吴佩孚奔逃南下，直系军阀的统治自此土崩瓦解。
随着1925年孙中山病逝，冯玉祥被排挤出北京，实际上，奉系军阀掌握了当时的中央实权。但奉系军阀的日子也并不好过，张作霖派人南下进攻孙传芳，结果连番受挫，孙传芳反而借此成为五省霸主。奉系军阀将领郭松龄更是联合冯玉祥倒奉，如果不是日本的干涉，张作霖险些一败涂地。
1926年4月，段祺瑞下台，奉系军阀和直系军阀基于多方考虑，暂时保持了各自在中国中部和北部的势力，组成双方共同控制的北京政府。此时的北洋军阀，在袁世凯死后，难得出现了相对团结的阶段。但是，这些武人并不知道，此时就在南方，经过了五卅运动的洗礼，广东革命军决定开始北伐。北洋系的军人们并不曾料到，他们看起来固若金汤的政权，转瞬之间就被这股钢铁洪流所吞噬。