JavaScript实现Indeed API分页数据高效获取教程

/**
 * 从Indeed API获取所有分页数据。
 * @param {string} query 搜索关键词，例如 'sales'
 * @param {string} location 搜索地点，例如 'Orlando,FL'
 * @param {number} limitPerPage 每页结果数，Indeed API通常限制为50
 * @returns {Promise<Array>} 包含所有聚合结果的Promise
 */
async function fetchAllIndeedResults(query, location, limitPerPage = 50) {
    let allResults = []; // 存储所有获取到的结果
    let currentStart = 0; // 当前请求的起始偏移量
    let loopContinue = true; // 控制循环是否继续的标志

    while (loopContinue) {
        // 构建Indeed API的URL，包含查询参数和分页参数
        // 注意：Indeed API的 indeedcsrftoken 可能需要动态获取或有有效期
        const url = `https://resumes.indeed.com/rpc/search?q=${query}&l=${location}&start=${currentStart}&limit=${limitPerPage}&lmd=3day&radius=25&indeedcsrftoken=test_tokent`;

        try {
            const response = await fetch(url); // 发送异步请求
            if (!response.ok) {
                // 处理HTTP错误，例如404, 500等
                throw new Error(`HTTP error! status: ${response.status}`);
            }
            const data = await response.json(); // 解析JSON响应

            // 假设API响应结构为 { totalResults: 230, results: [...] }
            // 请根据Indeed API的实际响应结构调整 'data.results' 和 'data.totalResults'
            if (data && data.results && data.results.length > 0) {
                allResults = allResults.concat(data.results); // 聚合数据

                // 判断是否已获取所有结果：
                // 1. 如果已获取结果总数达到或超过API报告的总数
                // 2. 或者当前页返回的结果数量小于每页限制，说明已是最后一页
                const totalResultsFromApi = data.totalResults || Infinity; // 如果API未提供总数，则假设无限
                if (allResults.length >= totalResultsFromApi || data.results.length < limitPerPage) {
                    loopContinue = false; // 终止循环
                } else {
                    currentStart += limitPerPage; // 增加偏移量，准备获取下一页
                }
            } else {
                // 如果API返回的数据为空或没有 'results' 字段，则表示没有更多数据
                loopContinue = false; // 终止循环
            }
        } catch (error) {
            console.error("Error fetching Indeed results:", error);
            loopContinue = false; // 发生错误时终止循环
        }
    }
    return allResults; // 返回所有聚合的数据
}

// 示例用法：
// 在实际应用中，你可能需要一个HTML元素来显示结果或触发此函数
// 例如，一个按钮点击事件：
document.getElementById('fetchButton').addEventListener('click', async () => {
    try {
        const results = await fetchAllIndeedResults('software engineer', 'San Francisco,CA');
        console.log(`成功获取到 ${results.length} 条结果。`);
        console.log(results);
        // 可以在这里将结果显示在网页上
    } catch (error) {
        console.error("在获取Indeed结果时发生错误:", error);
    }
});

// 注意：上述 `fetchButton` 只是一个占位符，请根据你的HTML结构进行调整。
// 此外，`indeedcsrftoken` 的获取和管理可能需要更复杂的逻辑。