Java动态网页内容抓取：从InputStream到API与浏览器自动化

while(in.readLine() != null) // 第一次调用readLine()，读取并消耗一行
{
  String s = (in.readLine()); // 第二次调用readLine()，读取并消耗下一行
  if(s!=null)
  {
    Scanner lineScan = new Scanner(s);
    while(lineScan.hasNextLine())
    {
      code.add(lineScan.nextLine());
      c++;
    }
  }
}

package Project;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List; // 推荐使用List接口
import java.util.Scanner;

public class WebScraper {

    public static void main(String[] args) throws IOException {

        URL website = new URL("https://www.youtube.com/watch?v=9h5JC-GLR6g");
        BufferedReader in = null; // 初始化为null，确保finally块中可以关闭
        List<String> codeLines = new ArrayList<>(); // 使用List接口更通用

        try {
            in = new BufferedReader(new InputStreamReader(website.openStream()));

            String line;
            while ((line = in.readLine()) != null) { // 正确的读取方式：将读取结果赋值给变量并判断
                codeLines.add(line);
            }

            // 打印所有读取到的行（仅用于调试，实际应用中可能不需要）
            // for (String s : codeLines) {
            //     System.out.println(s);
            // }

            // 示例：尝试查找特定文本（此处仍会失败，因为动态内容不在原始HTML中）
            boolean found = false;
            for (int i = 0; i < codeLines.size(); i++) {
                String currentLine = codeLines.get(i);
                if (currentLine != null && currentLine.contains("896K views")) {
                    System.out.println("找到匹配项在第 " + i + " 行: " + currentLine);
                    found = true;
                    // 通常找到后会做进一步处理，这里只是打印
                }
            }
            if (!found) {
                System.out.println("未在原始HTML中找到 '896K views'。这通常意味着内容是动态加载的。");
            }

            System.out.println("总行数: " + codeLines.size());

        } finally {
            if (in != null) {
                in.close(); // 确保BufferedReader被关闭
            }
        }
    }
}

// 伪代码示例：使用YouTube Data API获取视频信息
// 实际使用需要引入Google API客户端库
/*
import com.google.api.client.googleapis.javanet.GoogleNetHttpTransport;
import com.google.api.client.json.jackson2.JacksonFactory;
import com.google.api.services.youtube.YouTube;
import com.google.api.services.youtube.model.VideoListResponse;
import com.google.api.services.youtube.model.Video;

public class YouTubeApiExample {
    private static final String API_KEY = "YOUR_API_KEY"; // 替换为您的API密钥
    private static final String VIDEO_ID = "9h5JC-GLR6g"; // 替换为目标视频ID

    public static void main(String[] args) throws Exception {
        YouTube youtube = new YouTube.Builder(GoogleNetHttpTransport.newTrustedTransport(),
                JacksonFactory.getDefaultInstance(), null)
                .setApplicationName("YouTube Data API Example")
                .build();

        YouTube.Videos.List request = youtube.videos().list("snippet,statistics");
        request.setId(VIDEO_ID);
        request.setKey(API_KEY);

        VideoListResponse response = request.execute();
        if (response.getItems() != null && !response.getItems().isEmpty()) {
            Video video = response.getItems().get(0);
            System.out.println("视频标题: " + video.getSnippet().getTitle());
            System.out.println("观看次数: " + video.getStatistics().getViewCount());
            // 其他统计数据...
        } else {
            System.out.println("未找到视频或统计信息。");
        }
    }
}
*/

// 伪代码示例：使用Selenium获取YouTube视频页面的渲染HTML
/*
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

public class SeleniumWebScraper {

    public static void main(String[] args) {
        // 设置ChromeDriver的路径（根据您的系统和Chrome版本进行调整）
        System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver");

        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless"); // 无头模式，不显示浏览器界面
        options.addArguments("--disable-gpu"); // 某些Linux环境需要禁用GPU加速
        options.addArguments("--window-size=1920,1080"); // 设置窗口大小

        WebDriver driver = new ChromeDriver(options);

        try {
            driver.get("https://www.youtube.com/watch?v=9h5JC-GLR6g");

            // 等待页面加载完成，或等待特定元素出现
            // WebDriver提供了显式和隐式等待机制
            // 例如：new WebDriverWait(driver, 10).until(ExpectedConditions.presenceOfElementLocated(By.id("count")));

            String pageSource = driver.getPageSource(); // 获取渲染后的完整HTML
            System.out.println("获取到的页面源代码长度: " + pageSource.length());

            // 现在可以在pageSource中搜索动态生成的内容了
            if (pageSource.contains("views")) { // 这是一个粗略的例子，实际需要更精确的解析
                System.out.println("在渲染后的页面中找到了 'views' 关键词。");
                // 进一步解析pageSource以提取观看次数
            } else {
                System.out.println("未在渲染后的页面中找到 'views' 关键词。");
            }

        } finally {
            driver.quit(); // 关闭浏览器实例
        }
    }
}
*/