Pinecone 向量数据库：高效获取指定命名空间下所有向量的教程

import { PineconeClient } from "@pinecone-database/pinecone";
import { Configuration, OpenAIApi } from "openai";

// 配置OpenAI
const openaiConfig = new Configuration({
    apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(openaiConfig);

// 配置Pinecone
const pinecone = new PineconeClient();
await pinecone.init({
    environment: process.env.PINECONE_ENVIRONMENT,
    apiKey: process.env.PINECONE_API_KEY,
});

/**
 * 从指定Pinecone命名空间获取所有向量
 * @param {string} namespaceName 要查询的命名空间名称
 * @param {number} maxResults 要获取的最大结果数 (topK)
 * @returns {Array} 匹配到的向量列表
 */
const fetchAllVectorsInNamespace = async (namespaceName, maxResults) => {
    // 1. 生成一个通用查询向量
    const response = await openai.createEmbedding({
        model: "text-embedding-ada-002",
        input: "generic query for all vectors", // 使用一个通用字符串生成嵌入
    });
    const queryVector = response?.data?.data[0]?.embedding;

    if (!queryVector) {
        console.error("无法生成查询向量。");
        return [];
    }

    const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);
    const queryResponse = await index.query({
        queryRequest: {
            vector: queryVector,
            topK: maxResults, // 设置为足够大的值
            includeValues: true,
            includeMetadata: true,
            namespace: namespaceName
        }
    });

    console.log(`在命名空间 "${namespaceName}" 中找到 ${queryResponse.matches.length} 条记录。`);
    return queryResponse.matches;
};

// 示例调用：假设我们知道命名空间中最多有1000个向量
// 或者我们希望获取Pinecone查询接口允许的最大数量（通常是10000）
const allVectors = await fetchAllVectorsInNamespace(process.env.PINECONE_NAME_SPACE, 10000);

// 打印获取到的向量信息
allVectors.forEach(eachMatch => {
    console.log(`ID: ${eachMatch.id}, Score: ${eachMatch.score.toFixed(3)}, Metadata: ${JSON.stringify(eachMatch.metadata)}\n`);
});

import { PineconeClient } from "@pinecone-database/pinecone";

// 配置Pinecone
const pinecone = new PineconeClient();
await pinecone.init({
    environment: process.env.PINECONE_ENVIRONMENT,
    apiKey: process.env.PINECONE_API_KEY,
});

/**
 * 获取Pinecone索引的统计信息
 * @returns {Object} 索引统计对象
 */
const getIndexStats = async () => {
    const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);
    const indexStats = await index.describeIndexStats({
        describeIndexStatsRequest: {
            filter: {}, // 可以添加过滤器来获取特定元数据的统计
        },
    });
    console.log("索引统计信息: ", JSON.stringify(indexStats, null, 2));
    return indexStats;
};

// 示例调用
const stats = await getIndexStats();
// 可以从 stats.namespaces[your_namespace_name].vectorCount 获取特定命名空间的向量数量
if (stats.namespaces && stats.namespaces[process.env.PINECONE_NAME_SPACE]) {
    const vectorCount = stats.namespaces[process.env.PINECONE_NAME_SPACE].vectorCount;
    console.log(`命名空间 "${process.env.PINECONE_NAME_SPACE}" 中有 ${vectorCount} 个向量。`);
    // 此时可以将 vectorCount 作为 topK 的值传递给 fetchAllVectorsInNamespace 函数
    // await fetchAllVectorsInNamespace(process.env.PINECONE_NAME_SPACE, vectorCount);
}