mysql update数据过大，连接断开

有一个2万条的数据源，现在逐条输出 update 另外一个数据表（远程API）的值，由于数据量过大，经常被远程服务器断开或本网页显示 500内部错误，请教一下大师，有什么办法可以优化一下，是否可以分批次更新，请求给一个指导，谢谢

MacsMind

电商AI超级智能客服

131

查看详情

回复讨论(解决方案)

我现在的办法是用for 循环 limit分批 mysql_query() 还是不行，请求指导

经过测试不是数据访问慢，是对方API 响应慢，服务器 直接给断开链接了，直接显示   请问有什么办法可以处理响应超时的

set_time_limit(0);

是你生成sql，然后提交到api，然后api执行的提交的sql?
如果这样，建议你把要执行的sql写在一个文件中，然后提交时把文件提交过去。
API那边接受到文件后，依此执行文件内sql语句即可。

如果结构不能修改，那只能一条条提交，成功返回再提交下一条。因为有可能是API那边连接数有限制了。

是你生成sql，然后提交到api，然后api执行的提交的sql?
如果这样，建议你把要执行的sql写在一个文件中，然后提交时把文件提交过去。
API那边接受到文件后，依此执行文件内sql语句即可。

如果结构不能修改，那只能一条条提交，成功返回再提交下一条。因为有可能是API那边连接数有限制了。

为什么调用100条需要30秒呢？你的sql不能优化么？

是你生成sql，然后提交到api，然后api执行的提交的sql?
如果这样，建议你把要执行的sql写在一个文件中，然后提交时把文件提交过去。
API那边接受到文件后，依此执行文件内sql语句即可。

如果结构不能修改，那只能一条条提交，成功返回再提交下一条。因为有可能是API那边连接数有限制了。

按1000条100秒，运行2万条也需要的时间不断，这么久的运行，万网那边就会报错，有什么办法可以分开，一批批的执行吗

开启多个进程处理

我的数据有2万来条，我算过，调用 API 100条需要 30秒 正常反应时间是6000秒，这样主程序早把我给踢出了
因为你执行的是 update，所以你在 SQL 上没有优化的可能（何况还是调用 API 进行）
但 2万条数据是不应通过网站传送的（update 一次只能一条），你可以通过 CLI 方式的程序来操作

用命令行执行

我的数据有2万来条，我算过，调用 API 100条需要 30秒 正常反应时间是6000秒，这样主程序早把我给踢出了
因为你执行的是 update，所以你在 SQL 上没有优化的可能（何况还是调用 API 进行）
但 2万条数据是不应通过网站传送的（update 一次只能一条），你可以通过 CLI 方式的程序来操作

 我的是阿里的虚拟主机，这个是运行环境PHP5.5