PHP 大文件逐行处理与内存优化实践

{"user_id" : 1,"user_name": "Alex"}
{"user_id" : 2,"user_name": "Bob"}
{"user_id" : 3,"user_name": "Mark"}

public function read(string $file) : array
{
    $fileHandle = fopen($file, "r");
    if ($fileHandle === false) {
        throw new Exception('Could not get file handle for: ' . $file);
    }

    $lines = [];
    while (!feof($fileHandle)) {
        $line = fgets($fileHandle);
        if ($line === false) continue; // 避免空行或文件结束前的额外处理
        $decodedLine = json_decode($line);
        if ($decodedLine !== null) { // 确保JSON解析成功
            $lines[] = $decodedLine;
        }
    }
    fclose($fileHandle);
    return $lines;
}

public function readLargeFile(string $filePath, callable $rowProcessor): void
{
    // 以只读模式打开文件
    $fileHandle = fopen($filePath, "r");

    // 检查文件句柄是否成功获取
    if ($fileHandle === false) {
        throw new Exception('无法获取文件句柄: ' . $filePath);
    }

    // 逐行读取文件，直到文件末尾
    while (!feof($fileHandle)) {
        $line = fgets($fileHandle);
        if ($line === false) { // 处理文件末尾或读取失败的情况
            continue;
        }

        // 解码 JSON 行
        $decodedData = json_decode($line);

        // 确保 JSON 解析成功且数据有效
        if (json_last_error() === JSON_ERROR_NONE && $decodedData !== null) {
            // 调用回调函数处理当前行数据
            $rowProcessor($decodedData);
        }
    }

    // 关闭文件句柄
    fclose($fileHandle);
}

function processAndExportJsonToCsv(string $inputFile, string $outputFile): void
{
    // 打开输出 CSV 文件，如果文件不存在则创建，'w' 模式会清空现有内容
    $writer = fopen($outputFile, 'w');
    if ($writer === false) {
        throw new Exception('无法打开输出 CSV 文件: ' . $outputFile);
    }

    // 写入 CSV 表头（根据实际数据结构调整）
    fputcsv($writer, ['user_id', 'user_name']);

    // 创建文件读取器实例（如果 readLargeFile 是一个方法）
    $fileProcessor = new YourFileReaderClass(); // 假设 readLargeFile 是某个类的方法

    try {
        // 调用 readLargeFile 方法，并传入一个匿名函数作为行处理器
        $fileProcessor->readLargeFile($inputFile, function ($row) use ($writer) {
            // 对单行数据进行处理
            $processedRow = [
                'user_id' => $row->user_id ?? null, // 使用 null 合并运算符处理可能不存在的字段
                'user_name' => isset($row->user_name) ? strtoupper($row->user_name) : ''
            ];

            // 将处理后的数据写入 CSV 文件
            fputcsv($writer, $processedRow);
        });
    } catch (Exception $e) {
        // 捕获并处理文件读取或处理过程中可能发生的异常
        error_log("文件处理失败: " . $e->getMessage());
    } finally {
        // 确保文件句柄在任何情况下都被关闭
        fclose($writer);
    }
}

// 示例用法
$inputJsonFile = 'users.json'; // 假设这是你的大 JSON 文件
$outputCsvFile = 'output_users.csv';

// 假设 YourFileReaderClass 包含了 readLargeFile 方法
class YourFileReaderClass {
    public function readLargeFile(string $filePath, callable $rowProcessor): void {
        // ... 上面定义的 readLargeFile 方法内容 ...
        // 为了演示，这里简化为直接调用
        // $this->actualReadLargeFile($filePath, $rowProcessor);

        $fileHandle = fopen($filePath, "r");
        if ($fileHandle === false) {
            throw new Exception('无法获取文件句柄: ' . $filePath);
        }
        while (!feof($fileHandle)) {
            $line = fgets($fileHandle);
            if ($line === false) continue;
            $decodedData = json_decode($line);
            if (json_last_error() === JSON_ERROR_NONE && $decodedData !== null) {
                $rowProcessor($decodedData);
            }
        }
        fclose($fileHandle);
    }
}

try {
    processAndExportJsonToCsv($inputJsonFile, $outputCsvFile);
    echo "数据已成功处理并导出到 " . $outputCsvFile . "\n";
} catch (Exception $e) {
    echo "发生错误: " . $e->getMessage() . "\n";
}

$allUsers = [];
$fileProcessor = new YourFileReaderClass(); // 实例化文件处理器
$fileProcessor->readLargeFile($inputJsonFile, function ($row) use (&$allUsers) {
    $allUsers[] = $row; // 将每行数据添加到数组中
});

// 此时 $allUsers 数组包含了所有行的数据
// ... 后续处理 $allUsers ...