在LangChain.js中追踪OpenAI模型Token使用量与成本的教程

import { ChatOpenAI } from 'langchain/chat_models/openai';
import { BaseMessage } from 'langchain/schema';

// 定义用于累积Token使用量的变量
let totalCompletionTokens = 0; // 模型生成的Token数量
let totalPromptTokens = 0;    // 用户输入的提示Token数量
let totalExecutionTokens = 0; // 总Token数量 (提示Token + 完成Token)

// 初始化ChatOpenAI实例，并配置回调函数
const llm = new ChatOpenAI({
    // 配置callbacks属性，传入一个回调函数数组
    callbacks: [
      {
        // handleLLMEnd 在每次LLM调用结束时触发
        handleLLMEnd: (output, runId, parentRunId?, tags?) => {
          // 从 output.llmOutput?.tokenUsage 中获取Token使用详情
          const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage || {};

          // 累加Token数量，使用 ?? 0 确保在值为 undefined 时默认为 0
          totalCompletionTokens += completionTokens ?? 0;
          totalPromptTokens += promptTokens ?? 0;
          totalExecutionTokens += totalTokens ?? 0;

          console.log(`--- LLM Run ${runId} Ended ---`);
          console.log(`Prompt Tokens: ${promptTokens ?? 0}`);
          console.log(`Completion Tokens: ${completionTokens ?? 0}`);
          console.log(`Total Tokens for this run: ${totalTokens ?? 0}`);
          console.log(`Current Accumulated Total Tokens: ${totalExecutionTokens}`);
        },
      },
    ],
    // 指定模型名称，注意某些模型版本可能对Token统计有特定要求
    modelName: 'gpt-3.5-turbo-0613',
    // 其他配置，例如温度等
    temperature: 0.7,
});

// 示例：执行一次LLM调用
async function runLLMExample() {
    console.log("Starting LLM call...");
    const messages: BaseMessage[] = [
        { role: "user", content: "请用一句话描述什么是人工智能？" }
    ];
    const result = await llm.call(messages);
    console.log("LLM Response:", result.content);

    // 可以在此处或后续需要时打印累积的Token数量
    console.log("\n--- Overall Token Usage ---");
    console.log(`Total Prompt Tokens: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens: ${totalExecutionTokens}`);
}

// 调用示例函数
runLLMExample().catch(console.error);

// 示例：在链中使用LLM
// 如果你使用的是ConversationalRetrievalQAChain等链，
// 只要该链内部使用了上面配置的llm实例，
// 同样会自动触发handleLLMEnd回调并累积Token。
/*
import { ConversationalRetrievalQAChain } from "langchain/chains";
import { BufferMemory } from "langchain/memory";
import { OpenAIEmbeddings } from "langchain/embeddings/openai";
import { MemoryVectorStore } from "langchain/vectorstores/memory";

async function runChainExample() {
    const vectorStore = await MemoryVectorStore.fromTexts(
        ["LangChain 是一个用于开发由语言模型驱动的应用程序的框架。", "它简化了与大型语言模型的交互。"],
        [{ id: 1 }, { id: 2 }],
        new OpenAIEmbeddings()
    );

    const chain = ConversationalRetrievalQAChain.fromLLM(
        llm, // 使用上面配置了回调的llm实例
        vectorStore.asRetriever(),
        {
            memory: new BufferMemory({
                memoryKey: "chat_history", // 必须与链的 memoryKey 匹配
                inputKey: "question",
                outputKey: "text",
                returnMessages: true,
            }),
            returnSourceDocuments: true,
        }
    );

    console.log("\nStarting Chain call...");
    const res = await chain.call({
        question: "什么是LangChain?",
        chat_history: []
    });
    console.log("Chain Response:", res.text);

    console.log("\n--- Overall Token Usage After Chain ---");
    console.log(`Total Prompt Tokens: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens: ${totalExecutionTokens}`);
}

// runChainExample().catch(console.error);
*/