批量写库操作，如何优化？

发布时间：2025-11-04 19:18:45 来源：技术快报 作者：数据库

引言

数据库插入操作的批量语句如下：

涉及到SQL层和存储层，其中SQL层需要解析SQL语句，写库生成抽象语法树(AST)，操作计算表达式等，何优化存储层需要判断主键冲突，批量包括增量数据和基线数据上的写库主键冲突，如果是操作非重复主键，则将数据插入到增量数据中。何优化

上条插入语句只插入一行数据，批量称之为单条插入，写库相应地，操作还可以在一条语句中插入多行数据，何优化称之为批量插入。批量

批量插入的多行数据作为一个事务，所有数据插入成功，操作或者所有数据插入失败，不会出现部分数据插入成功的情况。批量插入相对于单条插入在性能上有很大优势，SQL解析只需要做一次，事务只需要做一次，因此理应在相同的时间内插入更多行数据。

1. 单行插入引擎

此前，OceanBase的单条插入与批量插入使用的是同一套接口，从SQL层读取一行，检查冲突，企商汇插入数据，然后反复重复这个过程，直到没有数据为止。这样的代码看起来非常优雅，却没有利用到批量插入的特点而做针对性的优化。

2. 批量插入引擎

批量插入引擎每次可以读取一批数据，比如500行，然后做批量检查冲突，再批量插入到增量数据中（内存B+树），目前做的只有批量读和检查冲突，批量插入留到以后再做。看似很简单的优化，性能却提升了很多，在递增插入场景，Sysbench bulk insert的单线程测试中，无基线数据时，性能提升30%，有基线数据时，性能提升了100%。性能提升的原因有如下几点：

相关文章