微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 后端开发 > php教程 > 正文

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径_PHP教程

php中文网
发布： 2016-07-13 10:26:16
原创
1159人浏览过

我在服务器上有每天切割nginx日志的习惯，所以针对每天各大搜索引擎来访，总能记录一些404页面信息，传统上我只是偶尔分析下日志，但是对于很多日志信息的朋友，人工来筛选可能不是一件容易的事情，这不我个人自己慢慢研究了一点点，针对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件，直接上代码test.php。

复制代码 代码如下:

//访问test.php?s=google
$domain='http://www.jb51.net';
$spiders=array('baidu'=>'Baiduspider','360'=>'360Spider',
'google'=>'Googlebot','soso'=>'Sosospider','sogou'=>
'Sogou web spider','easou'=>'EasouSpider','bing'=>'bingbot');
 
$path='/home/nginx/logs/'.date('Y/m/').(date('d')-1).'/access_www.txt';
 
$s=$_GET['s'];
 
if(!array_key_exists($s,$spiders)) die();
$spider=$spiders[$s];
 
$file=$s.'_'.date('ym').(date('d')-1).'.txt';
if(!file_exists($file)){
    $in=file_get_contents($path);
    $pattern='/GET (.*) HTTP\/1.1" 404.*'.$spider.'/';
    preg_match_all ( $pattern , $in , $matches );
    $out='';
    foreach($matches[1] as $k=>$v){
        $out.=$domain.$v."\r\n";
    }
    file_put_contents($file,$out);
}
 
$url=$domain.'/silian/'.$file;
echo $url;

好就这样了。没有什么高深的技术，只有动手写的过程。

Tellers AI
Tellers AI

Tellers是一款自动视频编辑工具，可以将文本、文章或故事转换为视频。

Tellers AI 78
查看详情 Tellers AI

www.bkjia.comtruehttp://www.bkjia.com/PHPjc/824747.htmlTechArticle我在服务器上有每天切割nginx日志的习惯，所以针对每天各大搜索引擎来访，总能记录一些404页面信息，传统上我只是偶尔分析下日志，但...
相关标签：
php 搜索引擎 nginx

大家都在看：

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：PHP网页游戏学习之Xnova(ogame)源码解读（十三）_PHP教程 下一篇：实现在同一方法中获取当前方法中新赋值的session值解决方法_PHP教程
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
php代码缓存过期怎么设置_php代码缓存策略优化与过期时间设置方法 OPcache通过缓存编译后的opcode提升PHP性能，关键配置包括内存分配、最大缓存文件数及验证频率；生产环境设opcache.revalidate_freq=60可平衡性能与更新及时性，开发环境应设为1或0确保实时生效；代码发布后需调用opcache_reset()或重启服务强制刷新缓存，避免旧opcode残留；动态数据则依赖Redis等外部缓存，设置TTL实现细粒度控制；合理结合opcode缓存与数据缓存，按环境调整策略并主动清理，构建高效稳定的缓存体系。
2025-11-21 13:04:02
127
Laravel中利用SQL SUBSTRING提取字段首字符的正确实践 本文详细阐述了在Laravel应用中，如何利用数据库的SUBSTRING函数高效地从指定字段中提取唯一的首字符。文章纠正了常见的0-based索引误区，并通过DB::table与selectRaw结合，提供了基于1-based索引的正确实现方法。通过示例代码，读者将掌握在Laravel中执行此类复杂SQL查询的技巧，从而为构建如字母索引等功能提供数据支持。
2025-11-21 13:02:01
626
深入理解SimpleXML处理单节点与多节点的一致性 本文旨在阐明PHPSimpleXML在处理XML文件时，无论节点是单个还是多个，其内部结构和访问方式均保持一致。通过示例代码，我们将展示如何正确地通过属性访问和迭代来提取数据，并指出print_r输出可能带来的误导，强调应避免盲目将SimpleXMLElement转换为数组，以确保代码的健壮性。
2025-11-21 13:01:23
441
在 Laravel 中高效执行复杂原生 SQL 查询 当Laravel的EloquentORM或查询构建器无法满足高度定制化的复杂SQL查询需求时，DB::select()方法提供了一种直接且高效的解决方案。本文将指导您如何在Laravel应用程序中无缝集成并执行原生SQL语句，处理复杂的联接、聚合与条件筛选，确保数据检索的灵活性与性能。
2025-11-21 12:59:42
104
WooCommerce：通过PHP动作批量管理商品购买状态 本文详细介绍了如何在WooCommerce中利用woocommerce_is_purchasable过滤器，通过PHP代码批量控制特定商品的购买权限。通过构建一个包含多个商品ID的数组，并结合in_array()函数，开发者可以灵活地设置哪些商品不可被添加到购物车或直接购买，从而实现对商品销售策略的精细化管理，适用于需要限制部分商品销售的场景。
2025-11-21 12:55:34
765
WooCommerce 短代码动态渲染：利用过滤器条件加载自定义产品模板 本教程详细阐述如何在WooCommerce中，通过短代码参数动态控制产品列表的模板加载。我们将利用woocommerce_shortcode_products_query_args过滤器捕获短代码上下文，并结合wc_get_template_part过滤器实现模板文件的条件切换，从而避免直接修改核心文件，确保高度的可维护性和兼容性。
2025-11-21 12:55:23
127
mPDF图片嵌入指南：解决PNG显示异常与路径问题 本教程详细介绍了如何在PHP中使用mPDF库向现有PDF文档正确添加PNG图片。文章聚焦于解决常见的“图片未找到”错误（表现为PDF中出现一个小的“x”标记），强调了正确指定图片文件路径和合理设置图片尺寸的重要性。通过具体的代码示例和参数解析，帮助开发者避免图片加载失败，确保图片在PDF中按预期显示。
2025-11-21 12:51:15
115
PHP文件内容读取与JavaScript顺序弹窗实现指南 本教程详细探讨了在PHP中读取文本文件内容并将其通过JavaScript顺序弹窗显示时常见的陷阱与解决方案。文章首先分析了PHP服务器端代码生成与浏览器客户端JavaScript执行之间的交互机制，解释了为何多个独立标签可能导致弹窗显示异常。接着，提供了将所有JavaScript弹窗逻辑整合到一个块中的优化方案，并对比了PHP中file()与fopen/fgets两种文件读取方法的应用，强调了数据清理和安全输出的重要性，确保内容正确且安全地呈现。
2025-11-21 12:47:02
371
PHP中按指定步长和部分数分割数值范围的实现教程 本教程详细阐述了如何在PHP中将一个数值范围（从最小值到最大值）精确地分割成指定数量的部分，并确保分割点同时符合特定的步长要求。通过结合步长范围生成与等分范围生成，并利用数组交集操作，解决了传统range()函数无法直接满足多重条件的问题，提供了一个健壮且灵活的解决方案，适用于需要精确控制数值序列的应用场景。
2025-11-21 12:43:01
876
PHP字符串转JSON对象怎么转_PHP字符串转JSON中对象的转换技巧 使用json_decode将JSON字符串转为PHP对象或数组，设置第二个参数为true可转为关联数组，处理中文需确保UTF-8编码，解析后应检查json_last_error以排除语法错误。
2025-11-21 12:36:47
324
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部