PHP中高效处理大型Gzip文件：分块读取的策略与随机访问的局限性

<?php

/**
 * 处理大型Gzip文件，分块读取并提取指定字符串
 *
 * @param string $filename Gzip文件的路径
 * @param int $chunkSize 每次读取的块大小（字节）
 * @param string $delimiter 用于分割的字符串
 * @return array 提取到的所有ID
 */
function processLargeGzipFile(string $filename, int $chunkSize = 1048576, string $delimiter = "IT\"): array
{
    // 检查文件是否存在
    if (!file_exists($filename)) {
        echo "错误：文件 '{$filename}' 不存在。
";
        return [];
    }

    $zd = gzopen($filename, "r");
    if (!$zd) {
        echo "错误：无法打开Gzip文件 '{$filename}'。
";
        return [];
    }

    $allExtractedIds = [];
    $buffer = ''; // 用于处理跨块边界的字符串

    echo "开始处理文件：{$filename}
";

    while (!gzeof($zd)) {
        // 读取一个数据块
        $readData = gzread($zd, $chunkSize);

        if ($readData === false) {
            echo "错误：读取Gzip文件失败。
";
            break;
        }

        // 将当前块数据追加到缓冲区
        $buffer .= $readData;

        // 查找分隔符在缓冲区中的所有位置
        $parts = explode($delimiter, $buffer);

        // 处理除了最后一个部分之外的所有部分
        // 最后一个部分可能是不完整的，需要留到下一次循环与新数据合并
        for ($i = 0; $i < count($parts) - 1; $i++) {
            if ($i === 0 && !empty($buffer) && strpos($buffer, $delimiter) !== 0) {
                // 如果第一个部分不是由分隔符开头，且缓冲区不为空，则跳过
                // 因为这可能是上一个块的末尾部分
                continue;
            }
            // 提取ID（假设ID在分隔符之后，直到第一个空格）
            $full_id_part = $parts[$i + 1]; // 实际数据在分隔符的下一个元素
            $id_parts = explode(" ", $full_id_part);
            if (!empty($id_parts[0])) {
                $allExtractedIds[] = $id_parts[0];
            }
        }

        // 将最后一个可能不完整的部分保留在缓冲区中，供下一次循环使用
        $buffer = end($parts);
    }

    // 处理循环结束后缓冲区中剩余的任何数据
    // 如果文件末尾有分隔符，这里可能还需要处理
    if (!empty($buffer) && strpos($buffer, $delimiter) !== false) {
        $parts = explode($delimiter, $buffer);
        // 假设最后一个分隔符后的内容是完整的
        if (count($parts) > 1) {
             $full_id_part = $parts[1];
             $id_parts = explode(" ", $full_id_part);
             if (!empty($id_parts[0])) {
                 $allExtractedIds[] = $id_parts[0];
             }
        }
    }


    gzclose($zd);
    echo "文件处理完成。
";
    return $allExtractedIds;
}

// 示例用法
$filename = "my_big_file.txt.gz"; // 替换为您的Gzip文件路径
$extractedIds = processLargeGzipFile($filename, 1024 * 1024); // 每次读取1MB
// print_r($extractedIds); // 打印提取到的所有ID

?>