Pinecone中获取命名空间下所有向量的实用教程

import { Pinecone } from '@pinecone-database/pinecone'; // 假设使用新的Pinecone客户端
import OpenAI from 'openai'; // 假设使用OpenAI的Node.js客户端

// 初始化Pinecone和OpenAI客户端
const pinecone = new Pinecone({
    apiKey: process.env.PINECONE_API_KEY,
    environment: process.env.PINECONE_ENVIRONMENT,
});
const openai = new OpenAI({
    apiKey: process.env.OPENAI_API_KEY,
});

/**
 * 从Pinecone的指定命名空间获取所有向量。
 * @param {string} namespaceName 要获取向量的命名空间名称。
 * @param {number} maxResults 预期获取的最大结果数量，应大于或等于命名空间中的向量总数。
 * @returns {Array} 匹配到的向量列表。
 */
const fetchAllVectorsInNamespace = async (namespaceName, maxResults) => {
    // 1. 生成一个任意的查询向量。此处使用一个空字符串生成嵌入。
    // 注意：即使查询文本为空，OpenAI也会生成一个有效的嵌入向量。
    const embeddingResponse = await openai.embeddings.create({
        model: "text-embedding-ada-002",
        input: "dummy query for all vectors", // 任意占位符文本
    });
    const queryVector = embeddingResponse.data[0].embedding;

    // 2. 获取Pinecone索引实例
    const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);

    // 3. 执行查询操作，设置大 topK 值和目标命名空间
    const queryResponse = await index.query({
        vector: queryVector,
        topK: maxResults, // 设置一个足够大的值
        includeValues: true,
        includeMetadata: true,
        namespace: namespaceName,
    });

    console.log(`在命名空间 "${namespaceName}" 中找到 ${queryResponse.matches.length} 条记录。`);

    // 打印匹配到的向量信息
    queryResponse.matches.forEach(match => {
        console.log(`ID: ${match.id}, Score: ${match.score.toFixed(4)}, Metadata: ${JSON.stringify(match.metadata)}`);
        // console.log("Vector Values (truncated):", match.values.slice(0, 5), "..."); // 可选：打印部分向量值
    });

    return queryResponse.matches;
};

// 示例调用：假设我们想获取 "my-namespace" 下的所有向量，并预计不超过10000个
// 注意：maxResults 应根据实际情况设置，或通过 describeIndexStats 动态获取
fetchAllVectorsInNamespace(process.env.PINECONE_NAME_SPACE, 10000)
    .then(vectors => {
        console.log("所有向量获取完成。");
    })
    .catch(error => {
        console.error("获取向量时发生错误:", error);
    });

import { Pinecone } from '@pinecone-database/pinecone';

const pinecone = new Pinecone({
    apiKey: process.env.PINECONE_API_KEY,
    environment: process.env.PINECONE_ENVIRONMENT,
});

/**
 * 获取Pinecone索引的统计信息，包括每个命名空间的向量数量。
 */
const getIndexStats = async () => {
    const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);

    try {
        const indexStats = await index.describeIndexStats();
        console.log("索引统计信息:", JSON.stringify(indexStats, null, 2));

        if (indexStats.namespaces) {
            console.log("\n各命名空间向量数量:");
            for (const namespace in indexStats.namespaces) {
                console.log(`- 命名空间 "${namespace}": ${indexStats.namespaces[namespace].vectorCount} 个向量`);
            }
        } else {
            console.log("索引中没有找到命名空间信息。");
        }
        return indexStats;
    } catch (error) {
        console.error("获取索引统计信息时发生错误:", error);
        throw error;
    }
};

// 示例调用
// getIndexStats(); // 取消注释以运行此函数