基于PHP实现大规模PDF文本的高效检索与数据库集成

<?php

/**
 * 从PDF文件提取文本内容
 *
 * @param string $pdfFilePath PDF文件的完整路径
 * @return string|false 提取到的文本内容，失败则返回false
 */
function extractTextFromPdf(string $pdfFilePath): string|false
{
    if (!file_exists($pdfFilePath)) {
        error_log("PDF文件不存在: " . $pdfFilePath);
        return false;
    }

    // 假设pdftotext命令在系统PATH中
    // 对于Windows，可能需要提供pdftotext.exe的完整路径
    $command = "pdftotext -q -enc UTF-8 " . escapeshellarg($pdfFilePath) . " -"; // -q 静默模式, -enc UTF-8 编码, - 输出到stdout

    $output = [];
    $returnValue = 0;

    // 执行命令行命令
    exec($command, $output, $returnValue);

    if ($returnValue === 0) {
        return implode("\n", $output); // 将输出行合并为单个字符串
    } else {
        error_log("pdftotext 命令执行失败，返回码: " . $returnValue . "，文件: " . $pdfFilePath);
        return false;
    }
}

// 示例用法
$pdfFile = '/path/to/your/document.pdf'; // 替换为你的PDF文件路径
$extractedText = extractTextFromPdf($pdfFile);

if ($extractedText !== false) {
    echo "PDF文本提取成功，部分内容:\n";
    echo substr($extractedText, 0, 500) . "...\n"; // 显示前500个字符
} else {
    echo "PDF文本提取失败。\n";
}

?>

CREATE TABLE `pdf_contents` (
    `id` INT AUTO_INCREMENT PRIMARY KEY,
    `original_record_id` INT NOT NULL COMMENT '关联到原始记录的ID',
    `pdf_file_path` VARCHAR(255) NOT NULL COMMENT 'PDF文件路径，用于调试或重新提取',
    `extracted_text` LONGTEXT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci COMMENT '提取出的PDF文本内容',
    `extraction_date` DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '文本提取时间',
    UNIQUE KEY `idx_original_record_id` (`original_record_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

<?php

// 假设你已经有一个数据库连接 $pdo
// $pdo = new PDO('mysql:host=localhost;dbname=your_db', 'user', 'password');

/**
 * 将提取的文本存入数据库
 *
 * @param PDO $pdo 数据库连接对象
 * @param int $originalRecordId 原始记录ID
 * @param string $pdfFilePath PDF文件路径
 * @param string $extractedText 提取到的文本内容
 * @return bool 成功返回true，失败返回false
 */
function saveExtractedTextToDb(PDO $pdo, int $originalRecordId, string $pdfFilePath, string $extractedText): bool
{
    try {
        $stmt = $pdo->prepare("
            INSERT INTO pdf_contents (original_record_id, pdf_file_path, extracted_text)
            VALUES (:original_record_id, :pdf_file_path, :extracted_text)
            ON DUPLICATE KEY UPDATE
                pdf_file_path = VALUES(pdf_file_path),
                extracted_text = VALUES(extracted_text),
                extraction_date = CURRENT_TIMESTAMP
        ");

        $stmt->bindParam(':original_record_id', $originalRecordId, PDO::PARAM_INT);
        $stmt->bindParam(':pdf_file_path', $pdfFilePath, PDO::PARAM_STR);
        $stmt->bindParam(':extracted_text', $extractedText, PDO::PARAM_STR);

        return $stmt->execute();
    } catch (PDOException $e) {
        error_log("数据库插入/更新失败: " . $e->getMessage());
        return false;
    }
}

// 示例用法（假设在一个循环中处理所有PDF）
// foreach ($allPdfRecords as $record) {
//     $pdfFile = $record['pdf_path'];
//     $originalId = $record['id'];
//     $extractedText = extractTextFromPdf($pdfFile);

//     if ($extractedText !== false) {
//         saveExtractedTextToDb($pdo, $originalId, $pdfFile, $extractedText);
//     }
// }

?>

ALTER TABLE `pdf_contents` ADD FULLTEXT `ft_extracted_text` (`extracted_text`);

<?php

// 假设你已经有一个数据库连接 $pdo
// $pdo = new PDO('mysql:host=localhost;dbname=your_db', 'user', 'password');

/**
 * 使用全文索引搜索PDF文本
 *
 * @param PDO $pdo 数据库连接对象
 * @param string $searchText 要搜索的文本
 * @return array 匹配到的原始记录ID列表
 */
function searchPdfText(PDO $pdo, string $searchText): array
{
    $results = [];
    try {
        // 使用IN BOOLEAN MODE允许更灵活的搜索，例如包含短语、排除词等
        // 搜索词需要进行适当转义，以避免SQL注入和MATCH...AGAINST语法错误
        $cleanSearchText = str_replace(['+', '-', '*', '@', '(', ')', '~', '<', '>', '"'], ' ', $searchText); // 移除特殊字符
        $searchQuery = '"' . $cleanSearchText . '"'; // 精确短语搜索

        $stmt = $pdo->prepare("
            SELECT original_record_id
            FROM pdf_contents
            WHERE MATCH(extracted_text) AGAINST (:search_text IN BOOLEAN MODE)
        ");
        $stmt->bindParam(':search_text', $searchQuery, PDO::PARAM_STR);
        $stmt->execute();

        while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
            $results[] = $row['original_record_id'];
        }
    } catch (PDOException $e) {
        error_log("全文搜索失败: " . $e->getMessage());
    }
    return $results;
}

// 示例用法
$searchTerm = "特定关键字";
$matchingIds = searchPdfText($pdo, $searchTerm);

if (!empty($matchingIds)) {
    echo "找到匹配的记录ID:\n";
    print_r($matchingIds);
    // 接下来可以根据这些ID从你的主业务表中获取详细信息
} else {
    echo "未找到匹配的记录。\n";
}

?>