news 2026/4/16 18:04:05

MyBatis基础入门《十二》批量操作优化:高效插入/更新万级数据,告别慢 SQL!

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
MyBatis基础入门《十二》批量操作优化:高效插入/更新万级数据,告别慢 SQL!

在 《MyBatis基础入门《十一》TypeHandler 详解》 中,我们打通了数据库与 Java 类型的映射通道。
但当面对导入 10 万条用户数据同步大量订单状态等场景时,逐条执行insertupdate会导致:

  • 数据库连接频繁创建/销毁
  • 事务提交次数过多
  • 网络往返延迟累积

结果:耗时几分钟甚至超时失败!

解决方案:使用MyBatis 批量操作(Batch)
本文将手把手教你实现高性能批量写入,并对比多种方案的优劣。


一、为什么普通循环插入这么慢?

// ❌ 反面教材:逐条插入(10,000 条 ≈ 10,000 次 SQL + 10,000 次网络交互) for (User user : userList) { userMapper.insert(user); // 每次都是一次独立 SQL }

性能瓶颈

  • 每次insert都是独立事务(自动提交);
  • JDBC 驱动与数据库多次通信;
  • 数据库频繁写 WAL 日志、刷盘。

💡 实测:插入 10,000 条记录,普通方式可能耗时30s+;批量方式可压至1s 内


二、方案一:SqlSession 的 Batch Executor(推荐)

MyBatis 提供了ExecutorType.BATCH模式,底层使用 JDBC 的addBatch()+executeBatch()

步骤 1:获取 Batch 模式的 SqlSession

@Test public void testBatchInsert() { // 1. 获取 BATCH 类型的 SqlSession SqlSession batchSqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH); UserMapper mapper = batchSqlSession.getMapper(UserMapper.class); try { long start = System.currentTimeMillis(); // 2. 循环添加(不立即执行) for (int i = 1; i <= 10000; i++) { User user = new User(); user.setUsername("user_" + i); user.setProfile(new UserProfile("avatar.jpg", "城市" + i)); mapper.insert(user); // 仅加入批处理队列 // 3. 每 1000 条 flush 一次,防止内存溢出 if (i % 1000 == 0) { batchSqlSession.flushStatements(); // 提交当前批次 } } // 4. 提交剩余数据 batchSqlSession.commit(); long time = System.currentTimeMillis() - start; System.out.println("批量插入 10000 条耗时: " + time + " ms"); } catch (Exception e) { batchSqlSession.rollback(); throw e; } finally { batchSqlSession.close(); // 必须关闭! } }

关键点解析:

  • ExecutorType.BATCH:启用批处理模式;
  • flushStatements():手动触发executeBatch(),释放内存;
  • commit():最终提交事务;
  • 必须 close():否则资源泄漏!

✅ 优势:

  • 1 次事务提交
  • JDBC 驱动合并 SQL,减少网络往返;
  • 兼容所有数据库(MySQL、Oracle、PostgreSQL 等)。

三、方案二:XML 中使用<foreach>构建单条 INSERT(仅限 MySQL)

适用于一次性插入固定数量数据(如 100~1000 条)。

Mapper XML:

<insert id="batchInsertWithForeach"> INSERT INTO tbl_user (username, profile) VALUES <foreach collection="list" item="user" separator=","> (#{user.username}, #{user.profile, typeHandler=JsonTypeHandler}) </foreach> </insert>

调用:

userMapper.batchInsertWithForeach(userList); // 单次 SQL 插入多行

⚠️ 注意:

  • MySQL 默认max_allowed_packet限制 SQL 大小(默认 64MB);
  • 超过限制会报错,需分批调用;
  • 不支持 Oracle(语法不兼容)。

✅ 适用场景:中小批量、简单结构、MySQL 环境。


四、方案三:Spring Boot + @Transactional 批量(谨慎使用)

@Service public class UserService { @Autowired private UserMapper userMapper; @Transactional public void batchInsertInTransaction(List<User> users) { for (User user : users) { userMapper.insert(user); // 仍在同一事务中 } } }

❗ 问题:

  • 虽然事务合并了,但SQL 仍是逐条发送
  • 无 JDBC Batch 优化,性能提升有限;
  • 大数据量易导致事务日志过大、OOM

不推荐用于万级数据


五、生产环境最佳实践

✅ 1. 分批处理(防 OOM)

  • 单批次建议500~2000 条(根据字段大小调整);
  • 使用flushStatements()主动提交批次。

✅ 2. 关闭自动提交 & 合理设置事务

  • Batch 模式下,整个批次为一个事务
  • 若需部分成功,可在外层控制分段提交。

✅ 3. 数据库调优(MySQL 示例)

-- 临时关闭索引更新(插入完成后再重建) ALTER TABLE tbl_user DISABLE KEYS; -- 批量插入... -- 重建索引 ALTER TABLE tbl_user ENABLE KEYS;

或调整参数:

# my.cnf innodb_flush_log_at_trx_commit = 2 # 安全性换性能 bulk_insert_buffer_size = 256M

🔔 生产环境需 DBA 配合评估风险!

✅ 4. 监控与日志

  • 记录每批次耗时、条数;
  • 异常时记录失败数据 ID,支持重试。

六、性能对比实测(10,000 条 User)

方案耗时事务数网络交互适用场景
普通循环 insert~32,000 ms10,00010,000 次小数据量
SqlSession BATCH~800 ms11 次✅ 推荐:大数据量
<foreach>单条 INSERT~1,200 ms11 次中小批量、MySQL
Spring @Transactional 循环~28,000 ms110,000 次不推荐

💡 测试环境:MySQL 8.0, HikariCP, 16GB RAM, SSD


七、常见问题解答

❓ Q1:Batch 模式下能获取自增主键吗?

  • 不能!JDBC Batch 不支持返回生成的主键;
  • 解决方案:先批量插入无主键数据,再通过其他字段查询补全(或改用<foreach>)。

❓ Q2:如何处理部分失败?

  • MyBatis Batch 是“全有或全无”;
  • 若需部分成功,需在外层按小批次(如 100 条)循环调用,捕获异常后跳过。

❓ Q3:与 PageHelper、插件冲突吗?

  • 不冲突,但注意插件逻辑不要阻塞 Batch 执行。

八、总结

场景推荐方案
万级数据导入/同步SqlSession(BATCH)+ 分批 flush
千级以内、MySQL<foreach>单条 INSERT
需要返回主键放弃 Batch,用<foreach>或分段普通插入
高可靠性要求小批次 + 事务 + 失败重试机制

核心口诀
“大数据用 BATCH,分批 flush 防 OOM;
小批量用 foreach,主键需求要权衡!”


本文带你掌握 MyBatis 批量操作的性能优化之道,轻松应对海量数据写入挑战。
下一篇我们将深入MyBatis 与 Lombok、MapStruct 的优雅配合,打造极简 DAO 层!

👍 如果你觉得有帮助,欢迎点赞、收藏、转发!
💬 你在项目中是如何做批量处理的?欢迎评论区分享经验!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/16 15:57:00

【Qt开源项目】— ModbusScope-进度规划

ModbusScope学习总进度与时间规划 根据我们之前的讨论和你的学习进度&#xff0c;我来为你制定一个完整的学习计划。 当前进度总结 你已经完成的学习内容&#xff08;按时间顺序&#xff09;&#xff1a; ✅ 第一阶段&#xff08;3天&#xff09;&#xff1a;整体认知、程序骨架…

作者头像 李华
网站建设 2026/4/16 12:42:49

AutoGPT如何制定营销推广计划?实战案例拆解

AutoGPT如何制定营销推广计划&#xff1f;实战案例拆解 在一家新茶饮品牌即将推出“樱花白桃冰”新品的会议室里&#xff0c;市场团队正为推广方案焦头烂额&#xff1a;用户画像不清晰、竞品动作难追踪、内容创意枯竭……如果能有一个助手&#xff0c;只需一句话就能自动生成完…

作者头像 李华
网站建设 2026/4/16 12:32:15

测试用例设计方法:正交试验法详解!

01 正交试验法介绍 正交试验法是研究多因素、多水平的一种试验法&#xff0c;它是利用正交表来对试验进行设计&#xff0c;通过少数的试验替代全面试验&#xff0c;根据正交表的正交性从全面试验中挑选适量的、有代表性的点进行试验&#xff0c;这些有代表性的点具备了“均匀分…

作者头像 李华
网站建设 2026/4/16 0:22:04

颈椎枕专利量化分析:3 大痛点频次与 2 条技术路线落地性测试

“投了50万做颈椎枕&#xff0c;仓库堆3万货卖不动”“跟风做智能枕&#xff0c;研发半年才发现核心技术早被专利卡脖子”——后台收到的创业者吐槽&#xff0c;几乎都绕不开一个问题&#xff1a;没找对“靠谱的决策依据”。很多人做颈椎枕创业&#xff0c;要么靠“感觉”&…

作者头像 李华