- 当前位置：首页 >IT科技类资讯 >Flink CDC 引起的 MySQL 元数据锁
Flink CDC 引起的 MySQL 元数据锁
发布时间：2025-11-04 19:25:17 来源：技术快报 作者：人工智能
记一次Flink CDC引起的引起元数MySQL元数据锁事故，总结经验教训。据锁后续在编写Flink CDC任务时，引起元数要处理好异常，据锁避免产生长时间的引起元数元数据锁。同时出现生产问题时要及时排查，据锁不能抱有侥幸心理。引起元数
一、据锁事件经过
某天上午，引起元数收到系统的据锁告警信息，告警提示：同步MySQL的引起元数某张表数据到Elasticsearch异常，提示连不上Mysql，据锁当时没有太上心，引起元数以为可能是据锁偶尔网络异常。
然后立马大量用户开始投诉系统使用有问题，引起元数同时听到有同事反馈内部系统数据导不出来。此时我慌了。
立马看了微服务网关、用户中心服务、部分流量比较大的BFF层服务，CPU、内存、磁盘等都是正常的。但是Pod出现了健康检查失败的情况。b2b信息网
于是又赶紧看了日志，出现了大量拿不到MySQL Connection异常。
又赶紧看了MySQL情况，CPU、内存、磁盘都是正常的，但是出现了许多奇怪的慢SQL。
此时我大概猜测到了可能是什么操作锁表了，导致大量Connection无法释放，又赶紧看了Mysql锁的情况，果然发现了大量的元数据锁，高达400多个Connection没释放。
既然出现了元数据锁，导致这么多Connection没有释放，那就找出占用时间最长的那个会话kill掉。陆续kill了几个会话后，系统恢复了。
系统恢复后，又去看了慢SQL，发现主要有两块高频慢SQL，一块是Flink相关的，服务器托管另一块是Nacos相关的。后来经过分析：元数据锁是因为Flink CDC执行FLUSH TABLES WITH READ LOCK导致的，跟Nacos无关，Nacos只是个烟雾弹。
复制# Flink相关的： SHOW CREATE TABLE `xxx_db`.`xxx_table`; FLUSH TABLES WITH READ LOCK; # Nacos相关的： DELETE FROM config_info WHERE data_id=com.alibaba.nacos.testMasterDB;1.2.3.4.5.6.防止事故再次发生，又把Flink CDC任务里的SQL方式换成了API方式。Flink CDC使用SQL方式时，会产生大量任务，占用更多的资源，也容易出现任务异常。
三、原因分析
1.元数据锁(1) 以上关于锁的截图，可以看到是元数据锁引发的Connection被耗尽，那什么是元数据锁：
元数据锁（Meta Data Lock，MDL），用于锁定数据库对象的元数据，例如：表、索引、视图等的亿华云计算结构信息。通常用于保证并发的数据定义语言（DDL）操作的一致性，防止在修改表结构的过程中出现并发问题。其作用是用于解决DDL操作与DML操作的一致性；通常，DDL操作需要获取MDL写锁，并且MDL锁一旦发生，就可能会对数据库的性能影响，因为后续对该表的任何Select、DML、DDL操作都会被阻塞，造成Connection积压。(2) 为什么要有元数据锁：
主要为了保证元数据的一致性，用于处理不同线程操作同一数据对象的同步与互斥问题。比如需要事务隔离场景、主从同步场景。
(3) 元数据锁和Innodb锁的区别：
元数据锁主要关注数据库对象的元信息，而InnoDB锁主要关注数据的一致性和隔离性。MDL锁还能实现其他粒度级别的锁，比如：全局锁、库级别的锁、表空间级别的锁。这是InnoDB存储引擎不能直接实现的。(4) 锁表的原理是数据库使用独占式锁机制。锁表发生在 insert、update、delete中。比如：A程序执行了对table_1的insert、update、delete，并还未commit时，B程序也对table_1进行insert、update、delete时会发生资锁表。
2.Flink CDC为什么引起元数据锁事故笔者使用Flink场景是，利用Flink CDC同步数据，然后做汇总统计。
(1) MySQL CDC如何工作
在 CDC 过程中，Flink 需要定期读取数据源的变化并进行处理。需要元数据锁 确保在读取元数据（例如数据库表的结构信息）时，没有其他并发的操作修改了这些元数据，从而保证 Flink 的元数据和实际数据的一致性。启动MySQL CDC源时，它将执行FLUSH TABLES WITH READ LOCK，获取一个全局读取锁，防止其他会话对这些表进行写操作，从而保证捕获的数据的一致性和准确性。该锁将阻止其他写入操作。然后，它读取当前binlog位置以及数据库和表的schema。之后，将释放全局读取锁。然后，它扫描数据库表并从先前记录的位置读取binlog。如果发生故障，任务将重新启动。(2) 元数据锁原因
因为Flink CDC启动时执行FLUSH TABLES WITH READ LOCK直接上读取锁，由于时间较长，此时有大量的insert、update、delete操作一直处于等待，导致Mysql Connection无法释放。
正好此时，Flink CDC执行同步任务时，又出现了异常，然后任务重启，重启后是上锁，结果出现了恶性循环。导致更多的的insert、update、delete操作处于等待，导致更多的Myql Connection无法释放，直接Connection全部耗尽。
然后所有应用都拿不到Mysql Connection，所以系统彻底不可用了。
至于Nacos为什么会执行DELETE FROM config_info WHERE data_id=com.alibaba.nacos.testMasterDB呢？查阅资料后发现，Nacos也是从Mysql获取Connection的，当Mysql出现问题时，比如死锁、Connection耗尽、CPU打满时，都会执行这个SQL。
- 电脑显示错误无法加载PDF文档（解决电脑无法加载PDF文档的问题）
- 解决联想Y7000开机不联网的问题（通过简单设置解决联想Y7000开机后无法连接网络的困扰）
- 揭秘欢聚时代CTO部门的卓越表现（深度剖析欢聚时代CTO部门运营模式及技术创新）
- 网络适配器故障恢复指南（快速解决网络适配器问题的方法与技巧）
- 解决电脑XP系统错误的重装方法（快速恢复电脑XP系统并修复各种错误问题）
- 华为ALE-CL00的截屏功能及使用体验（华为ALE-CL00截屏方法详解，让你轻松记录每一刻）
- 古代后宫（一探后宫中的权力斗争和女性地位）
- 探索21世纪OPPO手机的新机遇与挑战（以21OPPOR为中心，见证智能手机的技术进步与创新）
- 电脑编程入门（用计算机创造无限可能的世界）
- X7Plus处理器的卓越表现（发挥出色性能，提升使用体验）
- 主板接线安装教程（详细步骤指南让你轻松安装主板，打造个性化电脑体验）
- 美图手机和苹果手机的对比分析（探究美图手机和苹果手机的特点与优劣）
- U盘分区数据恢复教程（通过简单步骤轻松恢复误分区的U盘数据）
- 探索缤特力Legend的魅力（解码缤特力Legend的卓越表现与功能）
- Mac装系统教程（从准备工作到系统安装，全方位指导助你顺利完成）
- 探索索尼1000X灰色耳机的卓越表现（挚爱音乐，品味灰色奇迹）
- 探索CX2.00g的优势与应用（开启智能时代的无限可能）
- PS4金色港版质量评测（金色港版PS4是否值得购买？）
- 电脑管家连续登入错误的解决办法（电脑管家一直登入错误怎么办？）
- 卡西欧GW9400（探索卡西欧GW9400的耐用性能和多功能设计）
随便看看
- Copyright © 2025 Powered by Flink CDC 引起的 MySQL 元数据锁,技术快报 滇ICP备2023006006号-46sitemap