使用PHP解析固定宽度数据文件（.out）并转换为结构化数据

I299207075410 07  OCCLUSAL-HP                        LIQ17%                          LMedicis              B000001000000000001EA 8428010080529100   1072363   20030101000000016750000000016750000000000167500200101010000000000000000000000000000000001218000000000000000000000000000000000000000000000000020021231262436018510(W/BRUSH APPLICATOR)     TPLIQ     
 299207085060R01  LUZU                               CRE1%                           SBausch               C000006000000000001EA 8404080054930829 1 1309011   20180105000000590530000000098421700000000902967000000000000000000000000000000000000000000000000000000000000000000000000000000                                     TPCRE     

<?php

/**
 * PHP脚本：解析固定宽度数据文件（.out）并导出为CSV文件
 */

// 1. 定义数据字段结构
// 这是最关键的一步。你需要根据你的.out文件的实际结构，
// 准确定义每个字段的名称及其对应的字符长度。
// 以下示例中的字段名和长度是根据问题描述和示例数据进行的猜测，
// 在实际应用中必须精确测量或查阅文件规范。
$fields = [
    'id'        => 1,   // 例如：'I' 或 ' '
    'id2'       => 12,  // 例如：'299207075410'
    'code'      => 5,   // 例如：' 07'
    'category'  => 35,  // 例如：'OCCLUSAL-HP                        '
    'code2'     => 32,  // 例如：'LIQ17%                          '
    'category2' => 22,  // 例如：'LMedicis              '
    'code3'     => 22,  // 例如：'B000001000000000001EA '
    'code5'     => 17,  // 例如：'8428010080529100 '
    'code6'     => 2,   // 例如：'  ' 或 '1 '
    'code7'     => 10,  // 例如：'1072363   '
    'code8'     => 186, // 这是一个较长的字段，包含大部分数据
    'code9'     => 10   // 例如：'TPLIQ     '
];

// 2. 构建 unpack 格式字符串
// 遍历 $fields 数组，为每个字段生成 'A{length}{name}' 格式的字符串，
// 然后用 '/' 连接起来，形成 unpack 函数所需的完整格式字符串。
$unpackFormatParts = [];
foreach ($fields as $name => $length) {
    $unpackFormatParts[] = 'A' . $length . $name;
}
$unpackString = implode('/', $unpackFormatParts);

// 3. 读取并解析 .out 文件
// file() 函数将文件内容读取为数组，每个元素是文件中的一行。
$rawLines = file('data.out');

$parsedData = [];
foreach ($rawLines as $line) {
    // 对每一行应用 unpack 函数进行解析
    // unpack() 返回一个关联数组，键是我们在 $fields 中定义的字段名。
    $parsedData[] = unpack($unpackString, $line);
}

// 可选：打印解析后的数据结构，用于调试
// echo "<pre>";
// var_dump($parsedData);
// echo "</pre>";

// 4. 导出为 CSV 文件
$outputCsvFileName = "data.csv";
$exportFile = fopen($outputCsvFileName, "w");

if ($exportFile === false) {
    die("无法创建或打开输出文件: " . $outputCsvFileName);
}

// 写入CSV头部（字段名）
// array_keys() 获取 $fields 数组的所有键作为CSV的列头。
fputcsv($exportFile, array_keys($fields), "|");

// 写入数据行
foreach ($parsedData as $row) {
    // fputcsv() 将一个数组作为一行写入CSV文件，并使用指定的 | 分隔符。
    fputcsv($exportFile, $row, "|");
}

// 关闭文件句柄
fclose($exportFile);

echo "数据已成功解析并导出到 " . $outputCsvFileName . "\n";

?>

id|id2|code|category|code2|category2|code3|code5|code6|code7|code8|code9
I|299207075410| 07|OCCLUSAL-HP                        |LIQ17%                          |LMedicis              |B000001000000000001EA |8428010080529100   |  |1072363   |20030101000000016750000000016750000000000167500200101010000000000000000000000000000000001218000000000000000000000000000000000000000000000000020021231262436018510(W/BRUSH APPLICATOR)     |TPLIQ     
 |299207085060|R01|LUZU                               |CRE1%                           |SBausch               |C000006000000000001EA |8404080054930829 |1 |1309011   |20180105000000590530000000098421700000000902967000000000000000000000000000000000000000000000000000000000000000000000000000000                                     |TPCRE     

foreach ($parsedData as $row) {
    $processedRow = [];
    foreach ($row as $key => $value) {
        // 移除字符串两端的空白符
        $trimmedValue = trim($value);
        // 如果处理后的字符串为空，则将其视为 NULL，否则保留原值
        $processedRow[$key] = ($trimmedValue === '') ? null : $value;
    }
    fputcsv($exportFile, $processedRow, "|");
}

// 示例：导出到SQL文件片段
$outputSqlFileName = "data.sql";
$sqlFile = fopen($outputSqlFileName, "w");

if ($sqlFile === false) {
    die("无法创建或打开输出文件: " . $outputSqlFileName);
}

$tableName = "your_table_name"; // 替换为你的表名
$columnNames = implode(", ", array_keys($fields)); // 获取字段名作为列名

foreach ($parsedData as $row) {
    $values = [];
    foreach ($row as $value) {
        // 对值进行适当的SQL转义，并处理 NULL
        $trimmedValue = trim($value);
        if ($trimmedValue === '') {
            $values[] = "NULL";
        } else {
            // 假设所有字段都是字符串，需要根据实际数据类型进行调整
            $values[] = "'" . mysqli_real_escape_string($your_db_connection, $value) . "'";
        }
    }
    $sql = "INSERT INTO {$tableName} ({$columnNames}) VALUES (" . implode(", ", $values) . ");\n";
    fwrite($sqlFile, $sql);
}

fclose($sqlFile);
echo "数据已成功导出到 " . $outputSqlFileName . "\n";

// 替代 file() 的大文件处理方式
$handle = fopen("data.out", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        $parsedData[] = unpack($unpackString, $line);
    }
    fclose($handle);
} else {
    die("无法打开输入文件: data.out");
}