PHP如何使用CURL抓取网页_CURL数据抓取详细教程

<?php

// 1. 初始化CURL会话
$ch = curl_init();

// 2. 设置CURL选项
// 目标URL
curl_setopt($ch, CURLOPT_URL, "https://www.example.com"); 

// 将CURL执行的结果以字符串返回，而不是直接输出
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 

// 包含响应头信息（可选，如果你需要分析HTTP头）
// curl_setopt($ch, CURLOPT_HEADER, true); 

// 模拟一个浏览器User-Agent，这在抓取时非常重要，很多网站会检查这个
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36");

// 跟踪重定向（如果目标URL有301/302跳转）
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

// 设置超时时间，防止请求长时间无响应
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // 10秒

// 禁用SSL证书验证，生产环境不推荐，但测试时可能用到
// curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
// curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

// 3. 执行CURL请求
$response = curl_exec($ch);

// 4. 检查是否有错误发生
if (curl_errno($ch)) {
    echo 'CURL错误: ' . curl_error($ch);
} else {
    // 5. 处理抓取到的数据
    echo "抓取成功，内容长度: " . strlen($response) . " 字节\n";
    // 你可以在这里对 $response 进行进一步处理，比如解析HTML、保存到文件等
    // echo $response; // 如果你想直接打印内容
}

// 6. 关闭CURL会话，释放资源
curl_close($ch);

?>

curl_setopt()

CURLOPT_RETURNTRANSFER

CURLOPT_USERAGENT

CURLOPT_FOLLOWLOCATION

curl_getinfo($ch, CURLINFO_REDIRECT_URL)

CURLOPT_COOKIEJAR

CURLOPT_COOKIEFILE

Set-Cookie

CURLOPT_COOKIE

Content-Type

charset

mb_detect_encoding()

mb_convert_encoding()

// 假设 $htmlContent 是抓取到的内容
// 假设我们检测到原始编码是GBK
$originalEncoding = 'GBK'; 
$targetEncoding = 'UTF-8';

// 如果没有明确的编码信息，可以尝试猜测
// $originalEncoding = mb_detect_encoding($htmlContent, array("UTF-8", "GBK", "BIG5", "EUC-CN"), true);
// if ($originalEncoding && $originalEncoding !== $targetEncoding) {
//     $htmlContent = mb_convert_encoding($htmlContent, $targetEncoding, $originalEncoding);
// }

// 明确知道是GBK的情况
if ($originalEncoding !== $targetEncoding) {
    $htmlContent = mb_convert_encoding($htmlContent, $targetEncoding, $originalEncoding);
}

echo $htmlContent; // 现在应该是UTF-8编码了

<a>

href

preg_match_all('/<a\s[^>]*href=["\']([^"\']*)["\'][^>]*>(.*?)<\/a>/i', $htmlContent, $matches);
print_r($matches[1]); // 所有href属性
print_r($matches[2]); // 所有链接文本

DOMDocument

DOMXPath

$dom = new DOMDocument();
// 抑制HTML解析错误，因为很多网页HTML不完全符合规范
@$dom->loadHTML($htmlContent); 

$xpath = new DOMXPath($dom);

// 示例：抓取所有h1标签的文本内容
$h1Nodes = $xpath->query('//h1');
foreach ($h1Nodes as $node) {
    echo "H1标题: " . $node->nodeValue . "\n";
}

// 示例：抓取所有class为"product-name"的div标签
$productNames = $xpath->query('//div[@class="product-name"]');
foreach ($productNames as $node) {
    echo "产品名称: " . $node->nodeValue . "\n";
}

DOMDocument

DOMXPath

Symfony/DomCrawler

curl_multi_*

$urls = [
    "https://www.example.com/page1",
    "https://www.example.com/page2",
    "https://www.example.com/page3",
];

$mh = curl_multi_init();
$chHandles = [];

foreach ($urls as $url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 5); // 为每个请求设置超时
    curl_multi_add_handle($mh, $ch);
    $chHandles[$url] = $ch;
}

$running = null;
do {
    curl_multi_exec($mh, $running);
    // 可以适当加入usleep()来避免CPU空转
    // usleep(100); 
} while ($running > 0);

foreach ($chHandles as $url => $ch) {
    $response = curl_multi_getcontent($ch);
    if (curl_errno($ch)) {
        echo "抓取 {$url} 失败: " . curl_error($ch) . "\n";
    } else {
        echo "抓取 {$url} 成功，内容长度: " . strlen($response) . "\n";
    }
    curl_multi_remove_handle($mh, $ch);
    curl_close($ch);
}
curl_multi_close($mh);

curl_multi_init()

robots.txt

Referer

Accept-Language

Accept-Encoding