PHP实现简单爬虫的方法

php  /  管理员 发布于 7年前   197

本文实例讲述了PHP实现简单爬虫的方法。分享给大家供大家参考。具体如下：

\'\"\ ]*).*?>/';  $result = preg_match_all($reg_tag_a, $web_content, $match_result);  if ($result) {    return $match_result[1];  } } /** * 修正相对路径 *  * @param string $base_url  * @param array $url_list  * @return array  */function _reviseUrl($base_url, $url_list) {  $url_info = parse_url($base_url);  $base_url = $url_info["scheme"] . '://';  if ($url_info["user"] && $url_info["pass"]) {    $base_url .= $url_info["user"] . ":" . $url_info["pass"] . "@";  }   $base_url .= $url_info["host"];  if ($url_info["port"]) {    $base_url .= ":" . $url_info["port"];  }   $base_url .= $url_info["path"];  print_r($base_url);  if (is_array($url_list)) {    foreach ($url_list as $url_item) {      if (preg_match('/^http/', $url_item)) {        // 已经是完整的url        $result[] = $url_item;      } else {        // 不完整的url        $real_url = $base_url . '/' . $url_item;        $result[] = $real_url;      }     }     return $result;  } else {    return;  } } /** * 爬虫 *  * @param string $url  * @return array  */function crawler($url) {  $content = _getUrlContent($url);  if ($content) {    $url_list = _reviseUrl($url, _filterUrl($content));    if ($url_list) {      return $url_list;    } else {      return ;    }   } else {    return ;  } } /** * 测试用主程序 */function main() {  $current_url = "http://hao123.com/"; //初始url  $fp_puts = fopen("url.txt", "ab"); //记录url列表  $fp_gets = fopen("url.txt", "r"); //保存url列表  do {    $result_url_arr = crawler($current_url);    if ($result_url_arr) {      foreach ($result_url_arr as $url) {        fputs($fp_puts, $url . "\r\n");      }     }   } while ($current_url = fgets($fp_gets, 1024)); //不断获得url} main();?>

希望本文所述对大家的php程序设计有所帮助。

您可能感兴趣的文章:

• PHPCrawl爬虫库实现抓取酷狗歌单的方法示例
• php与python实现的线程池多线程爬虫功能示例
• 利用php抓取蜘蛛爬虫痕迹的示例代码
• PHP+HTML+JavaScript+Css实现简单爬虫开发
• php实现简单爬虫的开发
• PHP代码实现爬虫记录――超管用
• 一个PHP实现的轻量级简单爬虫
• php 向访客和爬虫显示不同的内容
• php IIS日志分析搜索引擎爬虫记录程序
• PHP一个简单的无需刷新爬虫