网页爬虫 - python访问次数过于频繁被域名限制访问
PHP中文网
PHP中文网 2017-04-17 17:15:27
[Python讨论组]

今天学习Python爬虫的时候,对于某个的域名访问次数有点多,到最后导致整个公司ping这个域名都出现超时(一个科技资讯网站,我也是非恶意)。想了解是否我的访问被视为了DDOS攻击而被这个网站限制访问了?能否稍微介绍一下Python爬虫如何避免被视为DDOS攻击?

PHP中文网
PHP中文网

认证高级PHP讲师

全部回复(4)
迷茫

一般这种情况时,我会先到 VPS 上 ping 一下目标域名,看看是不是他家网站挂了……

如果他确实是把你的 IP 屏了,那你就挂 HTTP 代理去爬吧。HTTP 可以买,也可以到网上找免费的。

巴扎黑

控制频率,使用代理

阿神

urllib2.HTTPError: HTTP Error 403: Forbidden
类似于这个吗?

怪我咯

都是爬虫高手啊,借帖子问一下其他同仁,有遇到过加代理后和本地一样的都是403错误么,目标地址是HTTPS的。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号