1916年初，在安源煤矿当学徒，后进入刘少奇主办的职工夜校学习文化。1922年春，加入中国社会主义青年团，同年转为中共党员。1922～1923年，许建国连续参加中国共产党领导的3次安源煤矿大罢工。

1925年，许建国由中共湖南特委派往湘潭组建产业工会，担任湘潭县南区联合工会委员长，县工会委员兼纠察部部长。1929年7月，因叛徒出卖，被国民党湖南省清乡司令部侦缉队逮捕后押往长沙，判处有期徒刑7年。在狱中，找到中共支部，在支部领导下，进行团结教育同监难友，要求改善生活待遇，以及策划越狱等斗争。

1930年7月下旬，红三军团攻克长沙，许建国被解救出狱，加入红军，任红三军团一师三团副官长兼任团保卫员。1934年8月，红军整编后，任八军团党委常委、政治保卫分局局长。同年10月，许建国参加长征。1935年4月，任红三军团政治保卫分局局长。同年10月，红军长征到达陕北后，许建国任红一军团第四师特派员。1936年，西安事变发生后，许建国跟随周恩来抵西安，改名杜智文，应邀担任张学良将军所部警卫团的秘书长兼军警督察处三科上校科长。1937年2月，中共代表团撤离西安，代表团中的部分工作人员由许建国率领前往陕西三原县筹建第十八集团军驻云阳办事处，并任办事处主任。同年5月，许建国被调回延安，任西北保卫局副局长、陕甘宁边区政府保安处副处长。1938年初，任中共中央保卫委员会委员、中央社会部保卫部部长。同年10月，中共中央在延安召开六届六中全会，许建国在会上作了题为《关于部队、地方、白区的保卫工作和情报工作》的发言。1939年3月，中共中央派许建国率领中央社会部考察组13人到华北敌后考察。此后，即以这些干部为骨干，建立中共中央北方分局(又称中共中央晋察冀分局)社会部任部长。1942年，晋察冀边区政府建立公安管理处，许建国兼任处长和边区政府党团书记、中央情报部晋察冀第一分局局长。