如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法

王林
发布: 2024-08-19 17:28:52
转载
1521人浏览过

? 简介

您还在使用“for”或“while”循环来迭代行并将它们插入数据库吗?您还在编写单独的代码来读取 .csv 文件并将其上传到 mysql 数据库吗?

用mysql提供的“load data”语句对线性逻辑说“不”。准备好更改代码以最大程度地减少代码行并大幅提高性能。

mysql 提供了 load data 语句,这是一种非常高速的方法,可以用很少的代码从文本文件中读取数据并将其插入表中。

? 什么是 load data infile 语句?

根据 mysql 的官方文档,load data 语句用于以非常快的方式从文件中读取数据,您可以通过一个查询将此数据插入表中,而不是多次访问数据库多次使用“insert into”查询。

mysql还提供了一个语句-> "select…into outfile",它的作用与"load data"的作用完全相反,就是从表中读取数据到文件

mysql提供的mysqlimport实用程序内部调用服务器上的load data语句来导入数据。

? 如何使用它?

above gist snippet shows the generic load data statements. all the available options are mentioned in the code above.

Eva Design System
Eva Design System

基于深度学习的色彩生成器

Eva Design System 86
查看详情 Eva Design System

lets now focus on a simple example of simply reading a .csv file and inserting it's rows into a compatible table.

a simple example :

load data infile ‘data.csv’ into table db.my_table
登录后复制

a birds-eye example with all essential options :

上面的要点片段显示了通用负载数据语句。上面的代码中提到了所有可用的选项。

现在让我们关注一个简​​单的示例,简单地读取 .csv 文件并将其行插入到兼容的表中。

一个简单的例子:

load data infile ‘data.csv’ into table db.my_table
登录后复制
包含所有基本选项的鸟瞰示例: 不用说,您的 csv 文件应该正确格式化才能使此语句发挥作用。
瞧,使用上面的语句,你的超过 10 万行的 .csv 将在几秒钟内导入到你的表中。

现在,一些重要的事情需要注意:

上述语句在mysql级别运行,因此源文件从客户端复制到服务器以便导入它们。
这会带来一些安全问题,我们需要确保使用此代码时客户端-服务器连接的安全。

在mysql 8.0中,使用local的能力默认设置为false。由于您的服务器和客户端应配置为允许 local,因此有些人可能会遇到权限错误。

如果出现权限错误,我们需要通过启用

local_infile
:
来覆盖它

SET GLOBAL local_infile = true;
登录后复制

注意:覆盖此标志并不是安全解决方案,而是承认接受风险,您可以参考此文档以获取更多信息。

?‍? 结论 mysql load data 语句用于在非常短的时间内读取文件。

您可以将此代码与任何后端api一起使用来提供源文件。

源文件可以是任何文本文件,我们在本例中使用.csv。

load data local

通过mysql将源文件复制到您的服务器,因此需要在服务器端实施安全措施。如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法

mysqlimport

实用程序内部使用load data语句。

您可以通过在语句中添加ignore 1 lines来忽略csv中的标头。#??# #??##??##??# #??# ? 参考 #??# #??#官方文档#??# #??# #??#

以上就是如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:dev.to网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号