动态加载网页图片抓取：Dermnet案例与Google CSE API利用指南

import requests
import json
import re
import time
import os
from urllib.parse import urlparse

def fetch_dermnet_images_via_api(query, max_pages=3, delay_seconds=1):
    """
    通过Google CSE API抓取Dermnet的图片链接。
    注意：cse_tok和cselibv参数可能需要动态获取或定期更新。
    """
    base_api_url = "https://cse.google.com/cse/element/v1"

    # 从浏览器开发者工具中获取的关键参数。
    # cse_tok和cselibv通常是动态的，这里使用示例值，实际应用中可能需要更复杂的策略来获取。
    # cx是Google CSE的ID，通常是固定的。
    params = {
        "rsz": "large",
        "num": "16", # 每页图片数量
        "hl": "en",
        "source": "gcsc",
        "gss": ".com",
        "cselibv": "8e77c7877b8339e2", # 示例值，请从网络请求中获取最新
        "searchtype": "image",
        "cx": "015036873904746004277:nz7deehiccq", # Dermnet的CSE ID
        "q": query,
        "safe": "off",
        "cse_tok": "AFW0emwRaupmNcwPmPDnZm7vKaJV:1684998350721", # 示例token，请从网络请求中获取最新
        "exp": "csqr,cc,bf",
        # "callback": "google.search.cse.api10440" # 如果直接请求JSON，可以不带callback参数
    }

    all_image_urls = []

    for page in range(1, max_pages + 1):
        print(f"Fetching page {page} for query: '{query}'")
        # Google CSE API通过start参数控制分页，start表示从第几个结果开始
        params["start"] = (page - 1) * int(params["num"]) + 1 

        try:
            # 移除callback参数以获取纯JSON响应，如果存在的话
            temp_params = params.copy()
            if "callback" in temp_params:
                del temp_params["callback"]

            # 模拟浏览器User-Agent
            headers = {
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
            }

            response = requests.get(base_api_url, params=temp_params, headers=headers, timeout=15)
            response.raise_for_status() # 检查HTTP请求是否成功

            # Google CSE API返回的响应通常是JSONP格式，即以函数调用