PHP环境下大规模PDF文本快速检索策略与实践

composer require spatie/pdf-to-text

use Spatie\PdfToText\Pdf;

/**
 * 从PDF文件提取文本内容
 *
 * @param string $pdfFilePath PDF文件的完整路径
 * @return string 提取到的文本内容
 * @throws \Spatie\PdfToToText\Exceptions\PdfNotFound
 * @throws \Satie\PdfToText\Exceptions\CouldNotExtractText
 */
function extractTextFromPdf(string $pdfFilePath): string
{
    try {
        // 确保 pdftotext 工具已安装并可在系统路径中找到
        // 或者通过 Pdf::extract($pdfFilePath)->setPdfToTextPath('/path/to/pdftotext') 指定路径
        $text = (new Pdf($pdfFilePath))->text();
        return $text;
    } catch (\Spatie\PdfToText\Exceptions\PdfNotFound $e) {
        // PDF文件未找到或 pdftotext 工具未安装
        error_log("PDF文件或pdftotext工具未找到: " . $e->getMessage());
        return '';
    } catch (\Spatie\PdfToText\Exceptions\CouldNotExtractText $e) {
        // 无法从PDF提取文本，可能是PDF损坏或加密
        error_log("无法从PDF提取文本: " . $e->getMessage());
        return '';
    }
}

// 示例用法
$pdfFile = '/path/to/your/document.pdf';
$extractedContent = extractTextFromPdf($pdfFile);

if (!empty($extractedContent)) {
    echo "提取到的文本内容：\n" . substr($extractedContent, 0, 500) . "...\n";
} else {
    echo "文本提取失败。\n";
}

CREATE TABLE document_texts (
    document_id INT NOT NULL,
    extracted_content LONGTEXT, -- 用于存储大量文本
    PRIMARY KEY (document_id),
    FOREIGN KEY (document_id) REFERENCES documents(id) ON DELETE CASCADE
);

// 假设您已经有了 PDO 数据库连接 $pdo
// $pdo = new PDO("mysql:host=localhost;dbname=your_db", "user", "password");

/**
 * 将提取的文本内容存储到数据库
 *
 * @param PDO $pdo 数据库连接
 * @param int $documentId 原始文档的ID
 * @param string $text 提取到的文本内容
 * @return bool 插入成功返回 true，否则返回 false
 */
function storeExtractedText(PDO $pdo, int $documentId, string $text): bool
{
    $stmt = $pdo->prepare("INSERT INTO document_texts (document_id, extracted_content) VALUES (:document_id, :extracted_content) ON DUPLICATE KEY UPDATE extracted_content = :extracted_content");
    return $stmt->execute([
        ':document_id' => $documentId,
        ':extracted_content' => $text
    ]);
}

// 示例用法
$documentId = 123; // 假设这是您的文档ID
// $extractedContent 已经在上一步获取

if (storeExtractedText($pdo, $documentId, $extractedContent)) {
    echo "文本内容已成功存储到数据库。\n";
} else {
    echo "文本内容存储失败。\n";
}

ALTER TABLE document_texts
ADD FULLTEXT INDEX ft_extracted_content (extracted_content);

// 假设您已经有了 PDO 数据库连接 $pdo
// $pdo = new PDO("mysql:host=localhost;dbname=your_db", "user", "password");

/**
 * 在数据库中执行全文搜索
 *
 * @param PDO $pdo 数据库连接
 * @param string $searchText 要搜索的文本
 * @return array 匹配到的文档ID列表
 */
function searchDocuments(PDO $pdo, string $searchText): array
{
    // 使用 BOOLEAN MODE 允许更灵活的搜索，例如支持 + (必须包含) 和 - (必须排除)
    $stmt = $pdo->prepare("SELECT document_id FROM document_texts WHERE MATCH(extracted_content) AGAINST(:search_text IN BOOLEAN MODE)");
    $stmt->execute([':search_text' => $searchText]);
    return $stmt->fetchAll(PDO::FETCH_COLUMN); // 返回所有匹配的 document_id
}

// 示例用法
$searchTerm = "特定关键词";
$matchingDocumentIds = searchDocuments($pdo, $searchTerm);

if (!empty($matchingDocumentIds)) {
    echo "找到以下文档ID匹配关键词 '{$searchTerm}':\n";
    foreach ($matchingDocumentIds as $docId) {
        echo "- " . $docId . "\n";
    }
} else {
    echo "未找到匹配关键词 '{$searchTerm}' 的文档。\n";
}