PHP代码实现爬虫记录――超管用

php  /  管理员 发布于 7年前   325

实现爬虫记录本文从创建crawler 数据库，robot.php记录来访的爬虫从而将信息插入数据库crawler,然后从数据库中就可以获得所有的爬虫信息。实现代码具体如下：

数据库设计

create table crawler  (   crawler_ID bigint() unsigned not null auto_increment primary key, crawler_category varchar() not null, crawler_date datetime not null default '-- ::', crawler_url varchar() not null, crawler_IP varchar() not null)default 

以下文件 robot.php 记录来访的爬虫，并将信息写入数据库：

-) {  $Bot = "Other Crawler"; } if (strpos($agent,"googlebot")>-) {  $Bot = "Google"; }    if (strpos($agent,"mediapartners-google")>-) {  $Bot = "Google Adsense"; } if (strpos($agent,"baiduspider")>-) {  $Bot = "Baidu"; } if (strpos($agent,"sogou spider")>-) {  $Bot = "Sogou"; } if (strpos($agent,"yahoo")>-) {  $Bot = "Yahoo!"; } if (strpos($agent,"msn")>-) {  $Bot = "MSN"; } if (strpos($agent,"ia_archiver")>-) {  $Bot = "Alexa"; } if (strpos($agent,"iaarchiver")>-) {  $Bot = "Alexa"; } if (strpos($agent,"sohu")>-) {  $Bot = "Sohu"; } if (strpos($agent,"sqworm")>-) {  $Bot = "AOL"; } if (strpos($agent,"yodaoBot")>-) {  $Bot = "Yodao"; } if (strpos($agent,"iaskspider")>-) {  $Bot = "Iask"; } require("./dbinfo.php"); date_default_timezone_set('PRC');  $shijian=date("Y-m-d h:i:s", time()); // 连接到 MySQL 服务器 $connection = mysql_connect ($host, $username, $password); if (!$connection) {  die('Not connected : ' . mysql_error()); } // 设置活动的 MySQL 数据库 $db_selected = mysql_select_db($database, $connection); if (!$db_selected) {  die ('Can\'t use db : ' . mysql_error()); } // 向数据库插入数据 $query = "insert into crawler (crawler_category, crawler_date, crawler_url, crawler_IP) values ('$Bot','$shijian','$GetLocationURL','$serverip')"; $result = mysql_query($query); if (!$result) {  die('Invalid query: ' . mysql_error()); }?>

成功了，现在访问数据库即可得知什么时候哪里的蜘蛛爬过你的什么页面。

view sourceprint? num_rows($mysql -> query("select * from crawler"));$pages = new PageClass($count,,$_GET['page'],$_SERVER['PHP_SELF'].'?page={page}');$sql = "select * from crawler order by ";$sql .= "crawler_date desc limit ".$pages -> page_limit.",".$pages -> myde_size;$result = $mysql -> query($sql);?> fetch_array($result)){?>
 
  
    
    
爬虫访问时间
    
爬虫分类
   
爬虫IP
   
爬虫访问的URL
  
 
 
 
 
 
 
 
 myde_write();?>

以上代码就是PHP代码实现爬虫记录――超管用的全部内容，希望对大家有所帮助。

您可能感兴趣的文章:

• PHPCrawl爬虫库实现抓取酷狗歌单的方法示例
• php与python实现的线程池多线程爬虫功能示例
• 利用php抓取蜘蛛爬虫痕迹的示例代码
• PHP+HTML+JavaScript+Css实现简单爬虫开发
• php实现简单爬虫的开发
• PHP实现简单爬虫的方法
• 一个PHP实现的轻量级简单爬虫
• php 向访客和爬虫显示不同的内容
• php IIS日志分析搜索引擎爬虫记录程序
• PHP一个简单的无需刷新爬虫