- 当前位置：首页 >时尚 >DTS数据传输同步MySQL至Elasticsearch实战
DTS数据传输同步MySQL至Elasticsearch实战
发布时间：2025-11-05 14:12:32 来源：技术快报 作者：系统运维
概述
数据传输服务DTS（Data Transmission Service）是数输同实战阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、据传非关系型的数输同实战数据库（NoSQL）、数据多维分析（OLAP）等数据源间的据传数据交互，集数据同步、数输同实战迁移、据传订阅、数输同实战集成、据传加工于一体，数输同实战助您构建安全、据传可扩展、数输同实战高可用的据传数据架构。其底层基础设施采用阿里双11异地多活架构，数输同实战为数千下游应用提供实时数据流，据传已在线上稳定运行7年之久。数输同实战
本章节通过RDS MySQL中的云服务器提供商生产数据实时同步到阿里云Elasticsearch中进行搜索查询，通过数据传输服务DTS（Data Transmission Service）进行数据同步操作。
前提条件
已创建源RDS MySQL实例，详情请参见快速创建RDS MySQL实例。已创建目标Elasticsearch实例，详情请参见创建阿里云Elasticsearch实例。目标Elasticsearch实例的存储空间须大于源RDS MySQL实例占用的存储空间。概念对应关系
图片
创建DTS实例
创建同步任务
图片
选择需要同步的RDS MySQL表
图片
任务同步进展
第一次同步是全量同步
验证数据同步结果
默认情况下，您还需要同时选中库表结构同步和全量同步。预检查完成后，DTS会将源实例中待同步对象的全量数据在目标集群中初始化，作为后续增量同步数据的基线数据。
待全量同步完成，增量同步进行中时，源码库您即可在Elasticsearch中查看同步成功的数据。
图片
数据同步完成后，我们通过Kibana访问实例进行数据验证。
图片
全局查询
复制GET /mall_category/_search1.搜索成功后，返回结果如下，以下结果表示全量同步到Elasticsearch成功。
复制{ "took" : 4, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1041, "relation" : "eq" }, "max_score" : 1.0, "hits" : [ { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2513", "_score" : 1.0, "_source" : { "id" : 2513, "name" : "有商品无法删2", "parent_id" : 2512, "is_show" : 1, "sort_order" : 0, "create_time" : 1679537485, "update_time" : 1679537485, "delete_time" : 1679542632 } }, .... { "_index" : "mall_category", "_type" : "mall_category", "_id" : "1310", "_score" : 1.0, "_source" : { "id" : 1310, "name" : "发饰", "parent_id" : 1258, "is_show" : 1, "sort_order" : 0, "create_time" : 0, "update_time" : 0, "delete_time" : 0 } } ] } }1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.条件查询
复制GET /mall_category/_search { "query": { "match": { "name": "有商品无法删2" } } }1.2.3.4.5.6.7.8.搜索成功后，返回结果如下：
复制{ "took" : 3, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 59, "relation" : "eq" }, "max_score" : 21.80254, "hits" : [ { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2513", "_score" : 21.80254, "_source" : { "id" : 2513, "name" : "有商品无法删2", "parent_id" : 2512, "is_show" : 1, "sort_order" : 0, "create_time" : 1679537485, "update_time" : 1679537485, "delete_time" : 1679542632 } }, { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2512", "_score" : 16.643557, "_source" : { "id" : 2512, "name" : "有商品无法删1", "parent_id" : 2511, "is_show" : 1, "image_url" : "", "sort_order" : 0, "create_time" : 1679537458, "update_time" : 1679537458, "delete_time" : 1679554114 } }, { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2511", "_score" : 15.356989, "_source" : { "id" : 2511, "name" : "测试有商品无法删", "parent_id" : 0, "is_show" : 1, "image_url" : "", "sort_order" : 0, "create_time" : 1679537448, "update_time" : 1679537448, "delete_time" : 1679554191 } }, { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2508", "_score" : 4.6345234, "_source" : { "id" : 2508, "name" : "无糖 代糖", "parent_id" : 0, "is_show" : 1, "sort_order" : 0, "create_time" : 1679534815, "update_time" : 1679534815, "delete_time" : 1679642540 } }, { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2045", "_score" : 4.5389233, "_source" : { "id" : 2045, "name" : "无痕塑身", "parent_id" : 1350, "is_show" : 1, "sort_order" : 0, "create_time" : 0, "update_time" : 0, "delete_time" : 0 } }, { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2240", "_score" : 4.3105736, "_source" : { "id" : 2240, "name" : "无人机", "parent_id" : 1363, "is_show" : 1, "sort_order" : 0, "create_time" : 0, "update_time" : 0, "delete_time" : 0 } } ] } }1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.53.54.55.56.57.58.59.60.61.62.63.64.65.66.67.68.69.70.71.72.73.74.75.76.77.78.79.80.81.82.83.84.85.86.87.88.89.90.91.92.93.94.95.96.97.98.99.100.101.102.103.104.105.106.107.108.109.110.111.112.113.114.115.116.117.精准查询
复制GET /mall_category/_search { "query": { "match_phrase": { "name": "有商品无法删2" } } }1.2.3.4.5.6.7.8.搜索成功后，返回结果如下：
复制{ "took" : 2, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1, "relation" : "eq" }, "max_score" : 21.80254, "hits" : [ { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2513", "_score" : 21.80254, "_source" : { "id" : 2513, "name" : "有商品无法删2", "parent_id" : 2512, "is_show" : 1, "sort_order" : 0, "create_time" : 1679537485, "update_time" : 1679537485, "delete_time" : 1679542632 } } ] } }1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.增量同步
在MySQL中插入一条数据，在Elasticsearch中查看增量数据同步结果。例如通过以下SQL语句插入一条数据。
复制INSERT INTO `mall_category` ( `name`, `parent_id`, `is_show`, `image_url`, `sort_order`, `create_time`, `update_time`, `delete_time` ) VALUES ( 开源技术小栈, 1361, 1, https://img.tinywan.com/shop/img/2024-12/3a5cbd823.png, 0, 0, 0, 0 );1.2.3.4.5.6.这里通过精准查询方式查询
复制GET /mall_category/_search { "query": { "match_phrase": { "name": "开源技术小栈" } } }1.2.3.4.5.6.7.8.在Elasticsearch中查看结果，预期结果如下：
复制{ "took" : 1, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1, "relation" : "eq" }, "max_score" : 21.59761, "hits" : [ { "_index" : "mall_category", "_type" : "mall_category", "_id" : "2537", "_score" : 21.59761, "_source" : { "update_time" : 0, "delete_time" : 0, "create_time" : 0, "image_url" : "https://img.tinywan.com/shop/img/2024-12/3a5cbd823.png", "parent_id" : 1361, "name" : "开源技术小栈", "id" : 2537, "sort_order" : 0, "is_show" : 1 } } ] } }1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.
图片
- ubuntu搭建nginx+scala+play 2.0运行环境学scala有段时间了，最近用scala做了个社区:,开始买了个内存512的vps，但是编译都不通过，jvm提示无法为对象分配空间，囧，升级到1G，经过3个小时的奋战，终于配置成功了，顺便也记录下。1、安装nginx,mysql编译什么的网上一大堆，就不细说了，大家可以google下。2、安装JDK注意：ubuntu用户请务必将OpenJDK替换成sunJDK[ubuntu用户]01sudo add-apt-repository ppa:ferramroberto/java02#假如上面命令提示：command not found，就输入如下命令：sudo apt-get install python-software-properties0304sudo apt-get update05sudo apt-get install sun-java6-jre sun-java6-plugin06sudo apt-get install sun-java6-jdk0708update-alternatives --config java09#选择jdk，输入上面命令后会有3个选项，选择第2个选项10 Selection Path Priority Status11------------------------------------------------------------12* 0 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 auto mode13 1 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 manual mode14 2 /usr/lib/jvm/java-6-sun/jre/bin/java 63 manual mode[非ubuntu用户]http://www.oracle.com/technetwork/java/javase/downloads/index.html解压后我把文件移动到了/usr/local/下修改/etc/profile文件1export JAVA_HOME=/usr/local/jdk1.7.0_052 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar3export PATH=$PATH:$JAVA_HOME/bin3、下载playframework文件[cc lang=c]http://www.playframework.org/[/cc] 3.1、安装scala,只运行play2.0的话是可以不用安装的。1http://www.scala-lang.org/ #下载debin包,假如安装的openjdk的话可能出现缺少 janic2 dpkg -I scala-2.9.2.deb 3.2、安装sbt https://github.com/harrah/xsbt/wiki/Getting-Started-Setup 我是安装ubuntu的方法安装的，记得别忘了下载，不然会提示找不到sbt包 http://apt.typesafe.com/repo-deb-build-0002.deb1dpkg -I repo-deb-build-0002.deb2apt-get update3apt-get install sbt 安装过程中可能需要点时间，完成后测试进入scala目录测试 sbt4、启动play2.0项目1play2start -Dhttp.port=90005、nginx设置代理01 server02 {03 listen 80;04 server_name *.cn-scala.com cn-scala.com;0506 location /static {07 root /static/public;08}09 location / {10 proxy_pass http://127.0.0.1:9000;11 proxy_set_header Host $host;12 proxy_set_header X-Real-IP $remote_addr;13}14 }
- 揭秘贴牌家电（品牌背后的秘密和消费者应该注意的事项）
- 如何将iPad安全挂在墙上（简易方法让您的iPad固定在墙上，方便您的使用和观看）
- 莱卡XE（探索莱卡XE的卓越性能和创新技术）
- 游戏本的多功能之旅（发现游戏本的更多可能性，让生活更加便捷高效）
- Byz耳机（探索Byz耳机的声音奇迹）
- 顺丰速递服务优势与劣势分析（探究顺丰速递在快递行业中的地位及其服务质量评估）
- 浪潮硬件（以浪潮硬件为例探讨数字化转型的关键）
- 联想笔记本键盘失灵一键修复方法（快速解决联想笔记本键盘失灵问题的有效教程）
- 小创客（以小创客怎么样啊，培养孩子的创造力和实践能力）
- 海盗船H100iV2（一款性的水冷散热解决方案，为您的电脑提供卓越的散热效果）
- 并读新闻（通过并读新闻提升阅读效率与信息获取能力）
- 指点钱途，财富攻略（如何通过指点钱来实现财务自由）
- 高效删除文件夹的方法（简单实用的文件夹删除技巧）
- 铁三角A990Z手机评测（领先一步的性能和设计，铁三角A990Z让你体验全新视听盛宴）
- 彩虹光电（彩虹光电的技术革新与应用领域的拓展）
- 小创客（以小创客怎么样啊，培养孩子的创造力和实践能力）
- 探究惠普导航的优势与应用（解密惠普导航的功能和使用体验）
- 爱国者模组电源评测（探索爱国者模组电源的性能与可靠性，揭示国产电源的新选择）
- 挣得日薪一千，实现财务自由的方法与建议（掌握关键技能，迈向财富之路）
随便看看
源码下载香港云服务器亿华云益华科技服务器租用IT技术网IT资讯网企商汇源码库亿华智造码上建站益华科技极客编程亿华互联汇智坊益强智未来智能时代亿华灵动益强前沿资讯技术快报IT资讯网全栈开发益强资讯优选云智核科技前瞻益强编程堂亿华科技亿华云运维纵横益强IT技术网极客码头益华科技益强科技云站无忧亿华智慧云编程之道码力社益强智囊团亿华云计算益强科技益强数据堂思维库
- Copyright © 2025 Powered by DTS数据传输同步MySQL至Elasticsearch实战,技术快报 滇ICP备2023006006号-46sitemap