微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 数据库 > mysql教程 > 正文

MySQL 5.5 大量数据插入出现的抖动问题 及 解决方法

php中文网
发布： 2016-06-07 17:26:54
原创
1609人浏览过

虽然有insert buffer和write ahead logging策略保证在执行线程中不直接操作表数据文件，但扩展表空间的操作会导致更新的tps出现瞬

背景

日志型应用的一个典型操作，是周期性地有大量的insert操作。这类操作需要对扩展表空间。

分析

在InnoDB里，扩展表空间的操作是在语句执行过程中，由执行线程直接调用的。

尤其是对于一些表每行比较大，则会出现每插入几条记录就需要扩展表空间。

虽然有insert buffer和write ahead logging策略保证在执行线程中不直接操作表数据文件，但扩展表空间的操作会导致更新的tps出现瞬间低点。现象如下图。实际上整体TPS也受此影响。

改进方案及可行性

可以在这类大操作之前预分配表空间来优化这个问题。我们的业务上线之前都有容量预估，每天也有监控。因此接下来一段时间表空间增长到多少，是能够预估得到。

在实际更新开始之前，在低峰期甚至是提供服务之前就将表空间预分配好，能够避免这种抖动和提高TPS。

工具验证

Krikey AI
Krikey AI

Krikey AI 68
查看详情 Krikey AI

InnoDB的表空间结构上，空间头部有4个byte的数字N表示这个表空间的大小（page数目），，文件的实际大小是N*Page_SIZE.

实现了一个工具extend_space，修改4个byte并将文件append到指定的大小。测试发现insert性能提升10%。由这个原因引起的抖动消除。

后续

目前还只是用工具实现。工具使用起来比较麻烦，主要是更新过程中的锁表操作就需要外部脚本，而且以后应用的新版本中page_size可变，因此比较优美的方案是将这个功能加入到MySQL支持的命令中。

补充更新

新增MySQL命令支持预扩展

?id=63858

效果如图

linux

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：GUID UUID生成主键策略 下一篇：Oracle批量更新四种方法比较
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
mysql导入sql文件失败怎么办_mysql导入sql文件失败的常见原因及解决方法 MySQL导入SQL文件失败常见于编码问题、文件过大、语法不兼容、权限不足或表冲突。1.确保SQL文件为UTF-8无BOM编码，必要时转换并执行SETNAMESutf8；2.对大文件调整max_allowed_packet、interactive_timeout等参数，推荐命令行导入；3.检查SQL语法兼容性，移除或修改CREATEDATABASE、USE语句，确认引擎支持，分步导入结构与数据；4.使用高权限账户（如root），检查并授权GRANTALLPRIVILEGES；5.处理表存在或主键
2025-11-22 01:05:10
570
mysql安装后如何检查版本_mysql版本检查方法 使用mysql--version或mysqld--version命令可快速查看客户端或服务器版本；2.登录MySQL后执行SELECTVERSION();或SHOWVARIABLESLIKE‘version%’;可获取更精确的服务端版本信息；3.通过systemctlstatusmysql和which命令可确认服务运行状态及实例路径，避免多实例混淆。
2025-11-21 14:10:34
646
mysql如何优化复制性能_mysql复制性能优化方法 优化MySQL复制性能需从减少主从延迟入手，通过批量提交事务、合理设置sync_binlog和binlog格式提升主库写入效率；启用多线程复制（slave_parallel_workers=8-16）、优化I/O能力与relaylog存储布局加快从库应用速度；压缩网络协议、部署低延迟网络环境降低传输开销；结合级联复制、分库分表与半同步机制进行架构优化，并持续监控Seconds_Behind_Master及SLAVESTATUS指标，协同调优参数以突破瓶颈。
2025-11-21 14:05:23
863
mysql客户端安装后如何设置多实例_mysql客户端多实例配置教程 MySQL客户端通过配置连接参数或使用别名可高效管理多个服务器实例。首先明确客户端仅为连接工具，不运行服务，所谓“多实例”实为连接不同IP或端口的MySQL服务。常见场景包括本地多端口实例、远程数据库及环境切换。连接时使用标准命令格式：mysql-h[host]-P[port]-u[user]-p，如连接本地3306端口：mysql-h127.0.0.1-P3306-uroot-p，连接3307端口则修改对应端口号。为简化操作，可在~/.my.cnf中配置多个client段落作为别名，例如[cl
2025-11-21 14:01:02
670
mysql归档数据怎么筛选_mysql归档数据筛选条件设置方法 按时间、状态、数据量及外键关系筛选是MySQL归档关键。先通过时间字段结合索引提升效率，再排除活跃状态数据避免误删，分批处理减少系统压力，并校验外键确保数据一致性，操作前需测试验证并备份。
2025-11-21 13:58:02
282
mysql如何优化连接顺序_mysql JOIN连接顺序优化方法 应优先让过滤效果最强的表作为驱动表以减少中间结果集。MySQL采用嵌套循环JOIN，小结果集驱动大结果集可降低扫描次数，如users→orders→order_items顺序优于反向。通过EXPLAIN查看table、type、rows、key列判断执行计划，若大表被误选为驱动表则需优化。可用STRAIGHT_JOIN强制连接顺序，或拆分查询用临时表控制流程，同时确保JOIN字段和WHERE条件有合适索引，并定期ANALYZETABLE更新统计信息，复合索引应匹配查询模式，最终通过EXPLAIN
2025-11-21 13:50:05
1008
mysql如何开启innodb事务_mysql innodb事务启用方法 InnoDB事务默认开启，需确保存储引擎为InnoDB并通过SETautocommit=0控制事务，配合BEGIN、COMMIT、ROLLBACK语句使用，同时配置innodb_flush_log_at_trx_commit和transaction-isolation参数，最后通过ROLLBACK测试验证事务回滚功能是否正常。
2025-11-21 13:38:02
307
mysql如何使用SELECT字段_mysql SELECT字段查询技巧 避免SELECT*，明确指定所需字段以减少I/O和网络开销；2.使用AS设置字段或表别名提升可读性；3.结合UPPER、DATE、CONCAT等函数在查询时处理数据；4.用DISTINCT去重并结合LIMIT分页控制返回行数。
2025-11-21 13:31:53
936
如何在mysql中配置临时表路径_mysql临时表路径设置 MySQL临时表路径由tmpdir变量控制，用于指定临时文件存储位置。通过SHOWVARIABLESLIKE‘tmpdir’可查看当前路径，如/tmp；可通过修改配置文件[mysqld]下tmpdir=/data/mysql_tmp或启动命令设置；需创建目录并赋权chownmysql:mysql、chmod700；重启服务生效。tmpdir仅影响磁盘临时文件，内存临时表仍用MEMORY引擎；大查询排序、临时表、ALTERTABLE等操作会使用该路径；建议避免系统盘，Linux用单路径，Windo
2025-11-21 13:27:12
421
mysql如何使用LEFT JOIN_mysql LEFT JOIN操作方法 LEFTJOIN以左表为主返回所有记录，右表无匹配时字段为NULL；通过ON指定关联条件，常用于统计包含零记录的场景，如查询所有用户及其订单（含未下单者），需注意避免WHERE子句误筛空值、确保连接字段类型一致并建立索引提升性能。
2025-11-21 13:26:02
236
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部