如何高效处理海量JSON数据？使用pcrov/jsonreader告别内存溢出！

json_decode

Allowed memory size of X bytes exhausted

memory_limit

pcrov/jsonreader

XMLReader

pcrov/jsonreader

pcrov/jsonreader

<pre class="brush:php;toolbar:false;">composer require pcrov/jsonreader

Intl

XMLReader

open()

read()

nodeType

name

value

large_users.json

<pre class="brush:php;toolbar:false;">[
  {
    "id": 1,
    "name": "Alice",
    "email": "alice@example.com",
    "description": "A very long description for Alice..."
  },
  {
    "id": 2,
    "name": "Bob",
    "email": "bob@example.com",
    "description": "Another very long description for Bob..."
  }
  // ... 更多用户数据
]

pcrov/jsonreader

<pre class="brush:php;toolbar:false;"><?php

require 'vendor/autoload.php';

use pcrov\JsonReader\JsonReader;

$reader = new JsonReader();

try {
    $reader->open('large_users.json');

    // 移动到 JSON 文件的第一个节点 (通常是数组的开始)
    $reader->read(); // nodeType: JsonReader::ARRAY

    // 循环遍历数组中的每个对象
    while ($reader->read()) {
        if ($reader->nodeType === JsonReader::OBJECT) {
            // 当前节点是一个对象 (例如：{"id": 1, ...})
            $userData = [];
            $reader->read(); // 移动到对象的第一个属性 (例如："id")

            // 循环读取当前对象的所有属性
            while ($reader->nodeType !== JsonReader::END_OBJECT) {
                $propertyName = $reader->name; // 获取属性名 (例如："id")
                $reader->read(); // 移动到属性值 (例如：1)
                $propertyValue = $reader->value; // 获取属性值

                $userData[$propertyName] = $propertyValue;

                $reader->read(); // 移动到下一个属性或对象的结束
            }
            // 至此，$userData 包含了当前完整对象的属性和值
            echo "处理用户: ID=" . $userData['id'] . ", 姓名=" . $userData['name'] . "\n";

            // 在这里，你可以对 $userData 进行进一步处理，例如存储到数据库、进行数据转换等
            // 关键在于，我们只在内存中维护了当前处理的单个对象，而不是整个文件！
        }
    }
} catch (\Exception $e) {
    echo "处理JSON时发生错误: " . $e->getMessage() . "\n";
} finally {
    $reader->close(); // 确保关闭文件句柄
}

?>

pcrov/jsonreader

pcrov/jsonreader

pcrov/jsonreader