大革命失败后，革命处于转折时期，衡阳人民在中共湘南特委的领导下，在敌人的疯狂屠杀面前，中共湘南特委、衡阳县委在极端困难的情况下，立即采取应变措施，化整为零，分散转移，巩固和发展农村阵地，同反动派进行不懈的斗争。随后，中共衡阳地方组织领导的工农游击武装斗争此起彼伏，接连不断，给反动派以沉重打击。

其主要武装斗争部队有：

一、衡北游击师

1927年6月初，回到北乡妙溪坚持斗争的县农协执委肖觉先、戴今吾等人，根据中共湘南特委妙溪紧急会议精神，决定以妙溪为中心，建立工农游击武装，用梭镖、大刀、鸟铳同反动派进行针锋相对的斗争。10月初，农民队伍正式命名为“衡北游击师”。19日夜晚，在中共湘南特委和衡阳县委的部署下，“衡北游击师”在妙溪、麻町、月山、神皇、江柏堰、国清、界牌、石头桥，以及衡山南岳周围百里的地区、发动农民群众，联合举行声势浩大的武装斗争。

二、工农革命军第八师

1927年9月初,衡阳县委委员罗子平与刘禹谟等在南乡井头  召开党员紧急扩大会，成立中共南乡特区委员会，刘禹谟任书记。深入发动群众，筹建革命武装，打击反革命的嚣张气焰，以武装保卫革命。1928年农历二月初二(公历2月22日)，工农革命军第八师在南乡寺宣布成立。

三、桐梓山工农游击队

1927年秋，东乡桐梓山何炳林利用帮会的形式，组织300多农民群众开展活动。共产党员李育松前往宣传发动，改编为农民游击队，李育松任队长，活动于衡阳、耒阳、常宁三县的边界地区。1928年1月26日，水口山矿党支部书记宋乔生根据湘南特委指示，领导工人起义，以桐梓山游击队为外援，里应外合。参加起义的工人队伍804人奔赴桐梓山，与李育松游击队汇合后，成立了桐梓山工农游击队。

四、工农革命军九师三团

1927年12月，何寅修、屈森澄来西渡组建工农游击武装，恢复和发展西渡第九支部，以此为基础，将组织向周围的英陂、西湖、演陂、九里渡、牌楼冲等地扩展，同时又与朱克敏、宁智等人在大云组建的润身堂支部联系，成员迅速增加。不久台源寺的共产党员刘宝堂率领的一支60多人的队伍，也与第九支部实行联合，声威大振。1928年2月7日，工农革命军第九师第三团在西渡正式成立。

五、工农革命军第七师

1928年2月16日，工农革命军九师三团奉命开赴将军庙矮子岭宋香林家，与肖觉先率领的衡北游击师余部汇合，改编为衡阳工农革命军第七师。各地农民纷纷报名参军，队伍很快发展到1000多人。4月10日，工农革命军第七师1000多人在西渡灵官庙举行声势浩大的向南岳进军的誓师大会。会后兵分两路向南岳进发，沿途捣毁了团防局，镇压了反动派。