推荐一款开源的数据同步工具，好用到爆！ - 文章 - 开发者社区

在开发项目的时候，我们经常会遇到数据同步的场景。例如将开发环境的数据库表同步到测试环境，将MySQL中的数据同步到ES中。今天给大家分享一款好用的数据同步工具DBSyncer，自带可视化界面，希望对你有所帮助！

最近建了一些工作内推群，各大城市都有，欢迎各位HR和找工作的小伙伴进群交流，群里目前已经收集了不少的工作内推岗位。

扫码加苏三的微信：li_su223，备注：所在城市，即可进群。

picture.image

简介

DBSyncer是一款开源的数据同步工具，支持MySQL、Oracle、PostgreSQL、Elasticsearch(ES)、Kafka、File等同步场景，目前在Gitee上已有3.1k+Star。

DBSyncer具有如下特性：

组合驱动：支持自定义库与库的同步组合，例如可以将MySQL中的数据同步到ES。
实时监控：支持全量同步和增量同步，可以监控同步运行状态、结果、同步日志和系统日志。
开发插件：支持编写代码自定义转化同步逻辑。

下面是DBSyncer使用过程中的效果图，功能还是挺实用的！

picture.image

安装

使用Docker来安装DBSyncer是非常方便的，我们将采用此种方式。

首先通过如下命令下载镜像；

  
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest

下载完成后通过如下命令运行对应的容器；

  
docker run -p 18686:18686 --name=db-syncer \  
-e TZ="Asia/Shanghai" \  
-v /mydata/db-syncer/data:/app/dbsyncer/data \  
-v /mydata/db-syncer/plugins:/app/dbsyncer/plugins \  
-d registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest

容器运行后，就可以访问DBSyncer的Web控制台了，默认账号密码为 admin:admin ，访问地址：http://192.168.3.101:18686

picture.image

使用

这里将以电商系统中商品表的数据同步为例，来介绍下DBSyncer的使用。

MySQL数据同步

使用的简化版商品表结构如下；

  
CREATE TABLE`product`  (  
`id`bigint(20) NOTNULL AUTO\_INCREMENT,  
`title`varchar(255) CHARACTERSET utf8 COLLATE utf8\_general\_ci NULLDEFAULTNULL,  
`sub\_title`varchar(255) CHARACTERSET utf8 COLLATE utf8\_general\_ci NULLDEFAULTNULL,  
`price`decimal(10, 2) NULLDEFAULTNULL,  
`pic`varchar(255) CHARACTERSET utf8 COLLATE utf8\_general\_ci NULLDEFAULTNULL,  
  PRIMARY KEY (`id`) USING BTREE  
) ENGINE = InnoDB AUTO\_INCREMENT = 2CHARACTERSET = utf8 COLLATE = utf8\_general\_ci ROW\_FORMAT = Dynamic;

这里创建两个数据库 mall\_dev 和 mall\_test ， mall\_dev 中的product表包含商品数据， mall\_test 中的不包含商品数据，我们将把 mall\_dev 中的数据同步到 mall\_test 中去；

picture.image

我们需要在DBSyncer中添加好 mall\_dev 和 mall\_test 对应的连接；

picture.image

然后再添加驱动，设置好数据源与目标源；

picture.image

然后配置好字段的映射关系，如果是所有字段都需要同步的话全选即可；

picture.image

之后点击驱动右上角的启动按钮即可实现数据同步，同步成功后在数据库中也可以看到对应的数据了。

picture.image

MySQL同步到ES

在同步数据到ES之前，我们需要先创建好product对应的索引；

  
PUT /product\_index  
{  
"mappings": {  
    "properties": {  
       "id": {  
        "type": "long"  
      },  
      "title": {  
        "type": "text"  
      },  
      "sub\_title": {  
        "type": "text"  
      },  
      "pic": {  
        "type": "text"  
      },  
      "price": {  
        "type": "double"  
      }  
    }  
  }  
}