如何在LangChain.js中追踪LLM的Token消耗与成本

import { ChatOpenAI } from 'langchain/chat_models/openai';

// 初始化全局变量来累加Token使用量
let totalCompletionTokens = 0;
let totalPromptTokens = 0;
let totalExecutionTokens = 0; // 可以理解为总的输入+输出Token

// 创建ChatOpenAI实例并配置回调
const llm = new ChatOpenAI({
    callbacks: [
      {
        /**
         * handleLLMEnd 在每次LLM调用完成后触发。
         * @param {Object} output - LLM调用的输出结果。
         * @param {string} runId - 当前运行的唯一ID。
         * @param {string} [parentRunId] - 父运行的ID（如果存在）。
         * @param {string[]} [tags] - 与当前运行相关的标签。
         */
        handleLLMEnd: (output, runId, parentRunId?, tags?) => {
          // 从 output.llmOutput?.tokenUsage 中提取Token使用详情
          // 注意：使用 ?? 0 确保在属性不存在时默认为0，避免NaN
          const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage || {};

          totalCompletionTokens += completionTokens ?? 0;
          totalPromptTokens += promptTokens ?? 0;
          totalExecutionTokens += totalTokens ?? 0;

          console.log(`--- LLM Run ${runId} Ended ---`);
          console.log(`Prompt Tokens: ${promptTokens ?? 0}`);
          console.log(`Completion Tokens: ${completionTokens ?? 0}`);
          console.log(`Total Tokens for this run: ${totalTokens ?? 0}`);
          console.log(`Accumulated Prompt Tokens: ${totalPromptTokens}`);
          console.log(`Accumulated Completion Tokens: ${totalCompletionTokens}`);
          console.log(`Accumulated Total Tokens: ${totalExecutionTokens}`);
          console.log('------------------------------');
        },
      },
    ],
    // 重要的注意事项：
    // 1. 确保使用 ChatOpenAI 而不是 OpenAI (因为 tokenUsage 在 ChatOpenAI 中更可靠)。
    // 2. 对于某些版本的 LangChain.js 和 OpenAI 模型，
    //    'gpt-3.5-turbo-0613' 或更新的模型版本可能更稳定地返回 tokenUsage 数据。
    modelName: 'gpt-3.5-turbo-0613', 
    temperature: 0.7,
});

// 示例：使用配置好的LLM进行一次调用
async function runExample() {
    console.log("Starting LLM call...");
    const result = await llm.call("What is the capital of France?");
    console.log("LLM call finished. Result:", result);

    // 再次调用，观察Token累加
    console.log("\nStarting second LLM call...");
    const result2 = await llm.call("Tell me a short story about a brave knight.");
    console.log("Second LLM call finished. Result:", result2);

    console.log("\n--- Final Accumulated Token Usage ---");
    console.log(`Total Prompt Tokens Across All Runs: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens Across All Runs: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens Across All Runs: ${totalExecutionTokens}`);
}

runExample();