在进行网页数据抓取时，开发者常会遇到各种挑战。其中之一便是目标网站采用了如cloudflare之类的安全防护机制。当尝试使用传统的file_get_contents或curl等php函数直接请求受cloudflare保护的页面时，通常会遇到“error code: 1020”之类的错误，这表明请求被服务器识别为非浏览器行为并被阻止。这是因为cloudflare会检测请求头、javascript执行能力等多种因素来区分真实用户和自动化脚本。
为了克服这一障碍，我们需要模拟一个真实的浏览器环境来访问页面，这正是浏览器自动化工具的用武之地。Puphpeteer是PHP对Puppeteer的一个封装，而Puppeteer是一个Node库，提供了高级API来通过DevTools协议控制Chrome或Chromium。通过Puphpeteer，我们可以在PHP中实现浏览器自动化，从而绕过Cloudflare的防护。
传统的HTTP请求库，如PHP的file_get_contents，只发送基本的HTTP请求，不具备执行JavaScript的能力，也无法模拟浏览器复杂的指纹信息。Cloudflare等防护服务会利用这些差异来识别并阻止自动化脚本。当页面加载时，Cloudflare通常会通过JavaScript挑战来验证客户端是否为真实浏览器。如果客户端无法执行这些JavaScript，就会被阻止。
Puphpeteer允许我们从PHP代码中启动一个真正的浏览器实例（如Chrome），控制其导航、执行JavaScript、获取页面内容等。关键在于，我们可以配置浏览器以非无头（headless: false）模式运行，这意味着浏览器会有一个可见的窗口，更接近真实用户的操作，从而更容易通过Cloudflare的检测。
在使用Puphpeteer之前，需要确保您的系统已安装Composer（PHP依赖管理工具）和npm（Node.js包管理工具）。
立即学习“PHP免费学习笔记（深入）”；
首先，通过Composer安装Puphpeteer的PHP库：
composer require nesk/puphpeteer
然后，通过npm安装Puphpeteer所需的Node.js组件：
npm install @nesk/puphpeteer
确保Node.js和npm已正确安装并配置在系统路径中，以便Puphpeteer能够找到并启动它们。
以下是一个使用Puphpeteer抓取受Cloudflare保护页面并提取特定表单令牌的示例脚本：
<?php
use Nesk\Puphpeteer\Puppeteer;
// 引入Composer自动加载文件
require_once __DIR__ . "/vendor/autoload.php";
/**
* 从页面内容中提取CSRF令牌
*
* @param string $content 页面HTML内容
* @return string|null CSRF令牌或null
*/
function getToken(string $content): ?string
{
// 使用正则表达式匹配隐藏的CSRF令牌输入字段
if (preg_match('/<input type="hidden" name="csrfmiddlewaretoken" value="(.+?)">/sim', $content, $matches)) {
return $matches[1];
}
return null;
}
// 实例化Puppeteer
$puppeteer = new Puppeteer;
// 启动浏览器，关键在于设置 'headless' 为 false
// 这将使浏览器以可见模式运行，模拟真实用户行为，有助于绕过Cloudflare
$browser = $puppeteer->launch(['headless' => false]);
/**
* @var \Nesk\Puphpeteer\Resources\Page $page
* 创建一个新的页面实例
*/
$page = $browser->newPage();
// 导航到目标URL
$targetUrl = 'https://v2.gcchmc.org/medical-status-search/';
$page->goto($targetUrl);
// 等待页面加载完成，Cloudflare挑战可能需要一些时间来解决
// 实际应用中可能需要更智能的等待策略，例如等待特定元素出现
$page->waitForTimeout(5000); // 简单粗暴地等待5秒，生产环境不推荐
// 获取页面完整的HTML内容
$pageContent = $page->content();
// 提取CSRF令牌
$csrfToken = getToken($pageContent);
// 打印提取到的令牌
if ($csrfToken) {
echo "成功获取到CSRF令牌: " . $csrfToken . PHP_EOL;
} else {
echo "未能获取到CSRF令牌。" . PHP_EOL;
// 调试用途，可以打印页面内容查看是否加载成功
// echo $pageContent;
}
// 关闭浏览器实例，释放资源
$browser->close();
?>代码解释：
当传统的PHP HTTP请求方法无法抓取受Cloudflare等高级防护机制保护的网站时，Puphpeteer提供了一个强大的解决方案。通过模拟真实的浏览器行为，特别是通过禁用无头模式，我们可以有效绕过这些防护，成功获取所需的页面内容和数据。虽然这会带来额外的资源消耗和配置复杂性，但对于需要处理复杂JavaScript渲染和反爬虫策略的场景，Puphpeteer无疑是一个非常有价值的工具。
以上就是PHP网页抓取：利用Puphpeteer应对Cloudflare防护的详细内容，更多请关注php中文网其它相关文章！
PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
762
收藏
