行伍出身，一直在神策军中效力，受知于宦官窦文场。后来，窦文场晋为神策军中尉，起用韩全义为帐中偏将，典禁兵驻守长武城。贞元十三年，唐朝以韩全义为神策行营节度使、长武城使，代替韩潭为夏绥节度使，命令他率领长武兵赴镇。然而，韩全义贪而无勇，抚御无术，诏书一下，军中即知，大家都不愿前往西北艰苦之地，互相商量说：“夏州沙碛之地，无耕蚕生业。盛夏移徙，吾所不能。”当夜，士兵鼓噪为乱，韩全义逾城而逃，乱兵杀大将王栖岩、赵虔曜等人，但很快被都虞侯高崇文讨平，韩全义得以赴镇。次年，淮西节度使吴少诚拒命，朝廷调动十七镇之师讨之，军无统帅，兵无多少，皆由宦官统领，师之进退不由主将，结果被叛军击败于小溵河。唐因窦文场的推荐，决定起用韩全义讨伐叛军，任命他为蔡州四面行营招讨使，以陈许节度使上官涚为副，诸镇之师，皆由韩全义调遣。不过，韩全义并无将略，只因结交权贵才有地位，因此事权不专，每议兵出，一帐之中，纷然争论莫决。淮西叛军听说后，尽出精锐决战，贞元十六年五月，韩全义与淮西叛军战于广利城，旗鼓未交，诸军即告大溃，为叛军所乘，大败，韩全义退保五楼，叛军对垒相望，韩全义密谋与监军宦官贾英秀、贾国良等率军返回溵水县，但叛军拒守溵水五六里，韩全义惧其中途邀击，于是干脆退回陈州。当时，各道讨伐军大都逃回本镇，只有忠武军大将孟元阳、神策大将苏光荣等人率军数千人屯守溵水，力拒叛军，韩全义这才安定下来，他又委过于潞州大将夏侯仲宣、滑州大将时昂、河阳大将权文度、河中大将郭湘等人，愁诛之，由此军情稍固。