PHP大文件处理教程：基于流式读取与回调的优化实践

<?php

class FileReader
{
    /**
     * 逐行读取文件内容并存储到数组中。
     *
     * @param string $file 文件路径。
     * @return array 包含所有解析后JSON对象的数组。
     * @throws Exception 如果文件无法打开。
     */
    public function read(string $file): array
    {
        $fileHandle = fopen($file, "r");

        if ($fileHandle === false) {
            throw new Exception('无法获取文件句柄: ' . $file);
        }

        $lines = [];
        while (!feof($fileHandle)) {
            $line = fgets($fileHandle);
            if ($line !== false) { // 确保读取到有效行
                $decodedLine = json_decode($line);
                if ($decodedLine !== null) { // 确保JSON解析成功
                    $lines[] = $decodedLine;
                }
            }
        }

        fclose($fileHandle);
        return $lines;
    }

    /**
     * 处理输入的用户数据。
     *
     * @param array $users 包含用户对象的数组。
     * @return array 处理后的数据。
     */
    public function processInput(array $users): array
    {
        $data = [];
        foreach ($users as $user) {
            if (isset($user->user_id) && isset($user->user_name)) {
                $data[] = [
                    'user_id' => $user->user_id,
                    'user_name' => strtoupper($user->user_name)
                ];
            }
        }
        return $data;
    }
}

// 示例用法
// $reader = new FileReader();
// try {
//     $allUsers = $reader->read('large_users.json');
//     $processedUsers = $reader->processInput($allUsers);
//     // 此时 $processedUsers 数组可能非常大，需要进一步导出到CSV
//     // exportToCsv($processedUsers);
// } catch (Exception $e) {
//     echo "错误: " . $e->getMessage();
// }

?>

<?php

class LazyFileReader
{
    /**
     * 逐行读取文件内容，并通过回调函数处理每行数据。
     *
     * @param string   $file         文件路径。
     * @param callable $rowProcessor 回调函数，用于处理每行解析后的数据。
     * @throws Exception 如果文件无法打开。
     */
    public function read(string $file, callable $rowProcessor): void
    {
        $fileHandle = fopen($file, "r");

        if ($fileHandle === false) {
            throw new Exception('无法获取文件句柄: ' . $file);
        }

        while (!feof($fileHandle)) {
            $line = fgets($fileHandle);
            if ($line !== false && trim($line) !== '') { // 确保读取到有效非空行
                $decodedLine = json_decode($line);
                if ($decodedLine !== null) { // 确保JSON解析成功
                    $rowProcessor($decodedLine); // 调用回调函数处理当前行
                } else {
                    // 可以添加日志记录或错误处理，如果JSON解析失败
                    error_log("JSON解析失败的行: " . $line);
                }
            }
        }

        fclose($fileHandle);
    }
}

?>

<?php

// 假设 LazyFileReader 类已定义

/**
 * 处理JSON文件并将其内容导出为CSV。
 *
 * @param string $jsonFilename 输入的JSON文件路径。
 * @param string $csvFilename  输出的CSV文件路径。
 */
function processAndWriteJsonToCsv(string $jsonFilename, string $csvFilename): void
{
    $reader = new LazyFileReader();
    $writer = fopen($csvFilename, 'w');

    if ($writer === false) {
        throw new Exception('无法创建或打开CSV文件进行写入: ' . $csvFilename);
    }

    // 写入CSV头部
    fputcsv($writer, ['user_id', 'user_name']);

    try {
        $reader->read($jsonFilename, function ($row) use ($writer) {
            // 在这里对单行数据进行处理
            $processedRow = [];
            if (isset($row->user_id) && isset($row->user_name)) {
                $processedRow['user_id'] = $row->user_id;
                $processedRow['user_name'] = strtoupper($row->user_name);
            } else {
                // 处理缺失字段的情况，例如跳过或记录错误
                error_log("跳过缺失必要字段的行: " . json_encode($row));
                return;
            }

            // 将处理后的行写入CSV文件
            fputcsv($writer, $processedRow);
        });
    } catch (Exception $e) {
        fclose($writer); // 确保在出错时关闭文件
        throw $e;
    }

    fclose($writer);
}

// 示例用法
try {
    processAndWriteJsonToCsv('large_users.json', 'output.csv');
    echo "文件处理并导出成功！\n";
} catch (Exception $e) {
    echo "处理失败: " . $e->getMessage() . "\n";
}

?>