利用php抓取蜘蛛爬虫痕迹的示例代码

php  /  管理员 发布于 7年前   351

前言

相信许多的站长、博主可能最关心的无非就是自己网站的收录情况，一般情况下我们可以通过查看空间服务器的日志文件来查看搜索引擎到底爬取了我们哪些个页面，不过，如果用php代码分析web日志中蜘蛛爬虫痕迹，是比较好又比较直观方便操作的！下面是示例代码，有需要的朋友们下面来一起看看吧。

示例代码

 'googlebot',          'Baidu'    => 'baiduspider',          'Yahoo'    => 'yahoo slurp',          'Soso'    => 'sosospider',          'Msn'    => 'msnbot',          'Altavista'  => 'scooter ',          'Sogou'    => 'sogou spider',          'Yodao'    => 'yodaobot'      );  $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);  foreach ($bots as $k => $v){    if (strstr($v,$userAgent)){      return $k;      break;    }  }  return false;} //获取哪种蜘蛛爬虫后保存蜘蛛痕迹。//根据采集时HTTP_USER_AGENT是否为空来防止采集//抓蜘蛛爬虫$spi  = isSpider();if($spi){  $tlc_thispage  = addslashes($_SERVER['HTTP_USER_AGENT']);  $file      = 'robot.txt';  $time      = date('Y-m-d H:i:s',mktime());  $handle      = fopen($file,'a+');  $PR        = $_SERVER['REQUEST_URI'];  fwrite($handle, "Time:{$time} ROBOT:{$spi} AGENT:{$tlc_thispage} URL:{$PR} \n\r");  fclose($handle);}?>

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有问题大家可以留言交流。

您可能感兴趣的文章:

• PHPCrawl爬虫库实现抓取酷狗歌单的方法示例
• php与python实现的线程池多线程爬虫功能示例
• PHP+HTML+JavaScript+Css实现简单爬虫开发
• php实现简单爬虫的开发
• PHP代码实现爬虫记录――超管用
• PHP实现简单爬虫的方法
• 一个PHP实现的轻量级简单爬虫
• php 向访客和爬虫显示不同的内容
• php IIS日志分析搜索引擎爬虫记录程序
• PHP一个简单的无需刷新爬虫