袁甲三帮办军务，稳定军心，整顿团练，多次战胜捻军

太平军、捻军起义，袁甲三帮办军务，先稳定军心，平息民愤
咸丰三年（1853年），起义的太平军、捻军声势日大，工部侍郎吕贤基被派去安徽办团练防剿事宜，他奏请让袁甲三同去“帮办军务”。时当广东太平军攻陷了凤阳府，占领了临淮关，接连攻克蒙城、怀远以后，又由亳州、滁州窥视河南。袁甲三采取先稳定军心民心的办法，成功平息了颍州因汉回纠纷焚杀围攻府衙事件。

袁甲三统帅军队，整顿团练，多次大胜，俘虏捻军，擒获首领
当年秋，兵部侍郎、漕运总督周天爵卒于亳州，诏命袁甲三继任统帅军队。在这之前，周某曾奏报说，蒙城、亳州的捻军，合五十八捻为一大股，设有四大天王等名目，不可急剿。周某死后，袁甲三到亳州的王市集时，兵勇已散，民无斗志。袁甲三急忙召集散兵游勇，整顿团练，凝聚军心，占据要隘，结果在高公庙首战告捷。皇帝下旨命袁甲三接办剿“匪”事宜，加三品衔，署安徽布政使。袁甲三向朝廷上疏推辞说，担任布政使职务后，政务繁杂，无法指挥军队打仗。朝廷认为他的话很有道理，就让他专门办理剿办安徽捻军的事。后来他又在标里铺打了个大胜仗，活捉了捻军首领邓大俊，俘虏捻军二千多人。
这年十月，安庆太平军占领桐城后不久，又攻陷舒城，吕贤基战死。朝廷想让袁甲三移军桐城，袁甲三急忙上疏说：“捻军首领张茂盘踞在怀远、蒙城之间，正想进攻庐州（合肥），请先驻军蒙城和亳州，声援各州。”
捻军聚集雉河集，袁甲三令县丞徐晓峰击破之，擒捻军首领孙重伦。分兵击败临湖铺窜匪，擒捻军首领宫步云、马九。令游击钱朝举、知县米镇攻怀远，大破之，张茂负伤逃走。