连续几周如此，联通电信会变，每次访问ip会变，访问时间0，频率很高，地区不变，是不是有人采集我的站？如何避免？谢谢！
连续几周如此，联通电信会变，每次访问ip会变，访问时间0，频率很高，地区不变，是不是有人采集我的站？如何避免？谢谢！
1、采用动态不规则的html标签
2、限制IP
和搜索引擎没有矛盾的，完全可以用nginx判断是否是搜索引擎爬虫，指引到一个固定的html结构的里边，以前就这样做过
立即学习“Java免费学习笔记（深入）”；
避免是很难的，只能说尽量提高抓取的成本。
常见都是在nginx或者程序中加入频率限制（rate limit）
把网站关了即可.
在robots.txt中添加屏蔽抓取的策略，就能少被采集了
关键是你又希望搜索引擎来爬你；
所以这是矛盾的，
只能尽量做好；
you can't.
楼上都没答到点子上，一般采集无非就是用硬抓取，如file_get_contents，和模拟抓取，如casperjs，我曾经用casperjs来写爬虫，速度实在太慢，所以casperjs爬虫不太可行，如果只是像file_get_contents之类的，后台分析日志，凡是加载的网页没有加载对应的css和js文件的，全部ban掉
希望写小偷程序的人不要看到这个答案，要不除了限制请求频率根本没法了，哦忘了，我就是专门写小偷程序的
cnzz统计的问题，加个谷歌统计对比下，流量差距就出来了，有10倍左右，猜测应该是百度蜘蛛之类的，识别为用户了，我的展也这样
java怎么学习？java怎么入门？java在哪学？java怎么学才快？不用担心，这里为大家提供了java速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
278
收藏
