丘行恭出身将门世家，善于骑射，隋朝末年随哥哥集聚兵马起义，率兵归顺李渊，任命为光禄大夫

丘行恭出身将门世家，善于骑射，隋朝末年随哥哥集聚兵马起义
丘行恭出身于官宦、将门世家，他的祖父丘寿是西魏将领，官至镇东将军；父亲丘和是隋末唐初官员、将领，官至左武侯大将军、稷州刺史，封谭国公。
丘行恭富有勇力，善于骑射。隋朝大业（605年—618年）末年，丘行恭和哥哥丘师利在歧州（今陕西凤翔）、雍州一带聚兵起义，聚集兵众一万人，居守郿城（今陕西郿县）以自保。当时百姓大多前来依附，群盗畏惧而不敢冒犯其境。

丘行恭率兵归顺李渊，任命为光禄大夫
义宁元年（617年）五月，太原留守李渊在太原（今山西太原）起兵反隋，攻入关中地区。当时平凉的奴贼数万人包围扶风，扶风太守窦璡坚守城池。贼军数月未能攻克扶风城，而粮食已经吃光，其众渐渐离散，归附丘行恭的有一千多人。丘行恭派遣其小头目劝说奴贼首领，让他们共同迎接归附李渊，随后亲自率领五百人背着粮食、牵着牛、拿着酒到奴贼的军营，奴贼首领深深施礼，丘行恭挥刀把奴贼首领杀死，对奴贼部众说：“你们都是英雄豪杰，为什么要奉奴为主，使得天下之人都说你们是奴贼？”大家都跪拜在地说：“愿意改奉您为首领。”丘行恭就率领这些人和丘师利在渭北谒见李渊之子李世民，归顺李渊义军。李世民当即任命丘行恭为光禄大夫。