使用Selenium 4 DevTools API拦截并获取HTTP请求头

<dependencies>
    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-java</artifactId>
        <version>4.7.0</version> <!-- 推荐使用最新稳定版，此处示例为4.7.0 -->
    </dependency>
    <dependency>
        <groupId>io.github.bonigarcia</groupId>
        <artifactId>webdrivermanager</artifactId>
        <version>5.3.2</version> <!-- 推荐使用最新稳定版 -->
    </dependency>
</dependencies>

import io.github.bonigarcia.wdm.WebDriverManager;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.devtools.DevTools;
import org.openqa.selenium.devtools.v119.network.Network; // 根据Selenium版本调整vXXX
import org.openqa.selenium.devtools.v119.network.model.Request; // 根据Selenium版本调整vXXX

import java.util.Optional;
import java.util.concurrent.TimeUnit;

public class NetworkInterceptorExample {

    public static void main(String[] args) throws InterruptedException {
        // 1. 设置 ChromeDriver
        WebDriverManager.chromedriver().setup();
        ChromeOptions options = new ChromeOptions();
        // options.addArguments("--headless"); // 如果不需要显示浏览器界面，可以启用无头模式

        ChromeDriver driver = new ChromeDriver(options);

        // 2. 创建 DevTools 会话
        DevTools devTools = driver.getDevTools();
        devTools.createSession();

        // 3. 启用 Network 域
        // Optional.empty() 表示不设置特定的最大请求/响应大小
        devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));

        // 4. 添加监听器以捕获请求事件
        // Network.requestWillBeSent 事件在请求即将发送时触发
        devTools.addListener(Network.requestWillBeSent(), requestWillBeSent -> {
            Request request = requestWillBeSent.getRequest();
            System.out.println("----------------------------------------");
            System.out.println("请求 URL: " + request.getUrl());
            System.out.println("请求方法: " + request.getMethod());
            System.out.println("请求头: " + request.getHeaders().toJson()); // 将Headers Map转换为JSON字符串
            // 可以进一步解析 headers.toJson() 获取特定头部信息
            // 例如: String userAgent = request.getHeaders().get("User-Agent");
        });

        // 5. 导航到目标网站
        driver.get("https://www.google.com");

        // 6. 等待一段时间，让请求被捕获
        TimeUnit.SECONDS.sleep(10); // 实际应用中应使用WebDriverWait等待页面元素或特定事件

        // 7. 关闭浏览器和 DevTools 会话
        driver.quit();
        devTools.close();
    }
}

// 监听响应头
devTools.addListener(Network.responseReceived(), responseReceived -> {
    System.out.println("响应 URL: " + responseReceived.getResponse().getUrl());
    System.out.println("响应状态: " + responseReceived.getResponse().getStatus());
    System.out.println("响应头: " + responseReceived.getResponse().getHeaders().toJson());
});

// 监听响应体（需要先启用并捕获请求ID）
// 通常需要结合 requestWillBeSent 获取 requestId，然后通过 Network.getResponseBody(requestId) 获取
devTools.addListener(Network.loadingFinished(), loadingFinished -> {
    // 获取请求ID，然后通过 devTools.send(Network.getResponseBody(loadingFinished.getRequestId())) 获取响应体
    // 注意：获取响应体可能需要额外的逻辑来确保请求ID可用且未过期
});

devTools.addListener(Network.requestWillBeSent(), requestWillBeSent -> {
    String url = requestWillBeSent.getRequest().getUrl();
    if (url.contains("api.example.com")) { // 仅处理包含特定域名的请求
        System.out.println("API Request URL: " + url);
    }
});