告别OpenAI文本超限烦恼：用mis3085/tiktoken-for-laravel智能管理Token

<code class="bash">composer require mis3085/tiktoken-for-laravel</code>

<code class="bash">php artisan vendor:publish --tag="tiktoken-for-laravel-config"</code>

<code class="php">return [
    // vocab文件的缓存目录，可以提升重复计算时的性能
    'cache_dir' => storage_path('framework/cache/tiktoken'),

    /**
     * 默认的编码器。
     * cl100k_base: 适用于 gpt-4, gpt-3.5-turbo, text-embedding-ada-002
     * p50k_base: 适用于 Codex models, text-davinci-002, text-davinci-003
     * r50k_base: 适用于 text-davinci-001
     */
    'default_encoder' => 'cl100k_base',
];</code>

<code class="php">use Mis3085\Tiktoken\Facades\Tiktoken;
// 或者如果你配置了别名，也可以直接使用：
// use Tiktoken;</code>

<code class="php">$englishText = 'This is a test sentence for token counting.';
$chineseText = '这是一段用于测试Token计数的中文文本。';

// 使用默认编码器 (cl100k_base)
$englishTokens = Tiktoken::count($englishText);
echo "英文文本Token数: " . $englishTokens . "\n"; // 输出类似：英文文本Token数: 9

$chineseTokens = Tiktoken::count($chineseText);
echo "中文文本Token数: " . $chineseTokens . "\n"; // 输出类似：中文文本Token数: 17</code>

<code class="php">$longText = "这是一段非常非常长的中文文本，它包含了大量的信息，我们希望在发送给OpenAI模型处理之前，能够根据模型的Token限制进行智能截断，以避免因为文本过长而导致的API错误或者不必要的成本增加。通过tiktoken库，我们可以精确地控制文本的长度，确保它既能传递足够的信息，又不会超出模型的处理能力。这对于构建稳定、高效的LLM应用至关重要。";
$limitTokens = 50; // 假设模型限制为50个Token

$truncatedText = Tiktoken::limit($longText, $limitTokens);
echo "截断后的文本内容: " . $truncatedText . "\n";
echo "截断后文本的Token数: " . Tiktoken::count($truncatedText) . "\n";
// 输出：截断后的文本内容: 这是一段非常非常长的中文文本，它包含了大量的信息，我们希望在发送给OpenAI模型处理之前，能够根据模型的Token限制进行智能截断，以避免因为文本过长而导致的API错误或者不必要的成本增加。通过tiktoken库，我们可以精确地控制文本的长度，确保它既能传递足够的信息，又不会超出模型的处理能力。这对于构建稳定、高效的LLM应用至关重要。
// 截断后文本的Token数: 50 (或接近50，因为截断是按Token边界进行的)</code>

<code class="php">$text = 'Hello, world!';
$tokensArray = Tiktoken::encode($text);
echo "编码后的Token数组: " . json_encode($tokensArray) . "\n"; // 输出：编码后的Token数组: [9906, 11, 1917, 0]

$decodedText = Tiktoken::decode($tokensArray);
echo "解码回的文本: " . $decodedText . "\n"; // 输出：解码回的文本: Hello, world!</code>

<code class="php">// 切换到p50k_base编码器 (适用于 text-davinci-003)
Tiktoken::setEncoder('p50k_base');
$textDavinciTokens = Tiktoken::count('这是一个用于text-davinci-003模型的测试。');
echo "text-davinci-003模型Token数: " . $textDavinciTokens . "\n";

// 也可以直接通过模型名称设置编码器
Tiktoken::setEncoderForModel('gpt-4');
$gpt4Tokens = Tiktoken::count('This is for GPT-4.');
echo "GPT-4模型Token数: " . $gpt4Tokens . "\n";</code>