使用PHP高效解析固定宽度数据文件（.out）并导出为CSV或SQL格式

I299207075410 07  OCCLUSAL-HP                        LIQ17%                          LMedicis              B000001000000000001EA 8428010080529100   1072363   20030101000000016750000000016750000000000167500200101010000000000000000000000000000000001218000000000000000000000000000000000000000000000000020021231262436018510(W/BRUSH APPLICATOR)     TPLIQ     
 299207085060R01  LUZU                               CRE1%                           SBausch               C000006000000000001EA 8404080054930829 1 1309011   20180105000000590530000000098421700000000902967000000000000000000000000000000000000000000000000000000000000000000000000000000                                     TPCRE     

array unpack ( string $format , string $data )

<?php

// 1. 定义输入文件路径
$inputFile = 'data.out';
// 2. 定义输出CSV文件路径
$outputCsvFile = 'data.csv';

// 检查输入文件是否存在
if (!file_exists($inputFile)) {
    die("错误：输入文件 '{$inputFile}' 不存在。\n");
}

// 3. 读取整个.out文件到数组，每行一个元素
$rawLines = file($inputFile, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);

if ($rawLines === false) {
    die("错误：无法读取文件 '{$inputFile}'。\n");
}

// 4. 定义字段及其长度。
//    这是最关键的部分，需要根据实际的.out文件结构精确定义。
//    键是字段名，值是该字段的字符长度。
//    以下示例是基于问题描述中的猜测，实际使用时请务必核对。
$fieldsDefinition = [
    'id_prefix' => 1,      // 例如 'I' 或空白
    'id_number' => 12,
    'code_type' => 5,
    'product_name' => 35,
    'concentration' => 32,
    'manufacturer' => 22,
    'product_code' => 22,
    'batch_number' => 17,
    'status_flag' => 2,    // 可能是单个字符或空白
    'quantity' => 10,
    'details_long' => 186, // 这是一个较长的详细信息字段
    'product_category' => 10
];

// 5. 构建 unpack 格式字符串
$unpackFormats = [];
foreach ($fieldsDefinition as $name => $length) {
    $unpackFormats[] = 'A' . $length . $name;
}
$unpackString = implode('/', $unpackFormats);

// 6. 逐行解析数据
$parsedData = [];
foreach ($rawLines as $lineNumber => $line) {
    // 确保行长度足够，避免unpack警告
    // 实际应用中，如果行长不符合预期，可能需要更复杂的错误处理
    if (strlen($line) < array_sum($fieldsDefinition)) {
        echo "警告：第 " . ($lineNumber + 1) . " 行长度不符合预期，可能被截断或解析错误。\n";
        // 可以选择跳过此行或填充空白
        // $line = str_pad($line, array_sum($fieldsDefinition), ' ');
    }

    $parsedLine = unpack($unpackString, $line);

    // unpack 返回的数组键可能包含额外的数字索引，这里只保留命名的键
    $cleanParsedLine = [];
    foreach ($fieldsDefinition as $name => $length) {
        $cleanParsedLine[$name] = trim($parsedLine[$name]); // 移除字段前后的空白，根据需求决定是否保留
    }
    $parsedData[] = $cleanParsedLine;
}

// 调试输出解析结果（可选）
// var_dump($parsedData);

// 7. 导出到CSV文件
$exportFile = fopen($outputCsvFile, "w");

if ($exportFile === false) {
    die("错误：无法创建输出文件 '{$outputCsvFile}'。\n");
}

// 写入CSV头部（字段名）
fputcsv($exportFile, array_keys($fieldsDefinition), "|");

// 写入数据行
foreach ($parsedData as $row) {
    fputcsv($exportFile, $row, "|"); // 使用管道符 "|" 作为分隔符
}

// 关闭文件句柄
fclose($exportFile);

echo "数据已成功从 '{$inputFile}' 导出到 '{$outputCsvFile}'，使用 '|' 作为分隔符。\n";

?>

<?php
// ... 前面的解析代码 ...

// 8. 导出到SQL文件（可选）
$outputSqlFile = 'data.sql';
$tableName = 'your_table_name'; // 替换为你的目标数据库表名

$exportSqlFile = fopen($outputSqlFile, "w");

if ($exportSqlFile === false) {
    die("错误：无法创建输出SQL文件 '{$outputSqlFile}'。\n");
}

// 获取字段名列表，用于SQL INSERT语句
$columnNames = implode(', ', array_keys($fieldsDefinition));

foreach ($parsedData as $row) {
    $values = [];
    foreach ($row as $value) {
        // 对值进行SQL转义，防止SQL注入，并根据数据类型决定是否加引号
        // 这里假设所有字段都是字符串，所以都加引号并转义
        $values[] = "'" . mysqli_real_escape_string(null, $value) . "'"; 
        // 注意：mysqli_real_escape_string 需要一个数据库连接，
        // 在实际应用中，你可能需要先建立一个哑连接或使用其他转义函数。
        // 如果没有数据库连接，简单的 addslashes() 也可以用于基本转义，但安全性较低。
    }
    $valueString = implode(', ', $values);

    $sql = "INSERT INTO {$tableName} ({$columnNames}) VALUES ({$valueString});\n";
    fwrite($exportSqlFile, $sql);
}

fclose($exportSqlFile);

echo "数据已成功导出到 '{$outputSqlFile}' 作为SQL INSERT语句。\n";

?>