中国古代常把接待远方来客称为“怀远”，又把供给递送公文来往使节、官员暂住和换马的场所称作“驿”。早在宋代，官府在古西湖药洲上(即今广州教育路南方戏院附近)改奉真观为怀远驿，专供外国使者、商人下榻和从事贸易活动。

明永乐四年(1406年)，在城外蚬子步，即今西关十八甫路附近，设立怀远驿。怀远驿由专门管理海外贸易的官方机构“市舶司”管理。中国官吏在这里检查外国船只运来的货物，并进行抽税和收购，有时还把国家有关规定在这里张榜公布。而外国人可以在这里通过从事中介贸易的商人——“牙人”，把中国官府收购后剩下的货物卖出，买回中国产品。