基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

ThinkPHP  /  管理员 发布于 9年前   250

本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作。分享给大家供大家参考，具体如下：

QueryList4教程 地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现 以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)
    Authentication required (packagist.phpcomposer.com):
      Username:

出现这样的 情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;public function qulist(){  $data = QueryList::get('http://maoyan.com/board/4')  // 设置采集规则  ->rules([    // 爬取图片地址    "src"=>array(".board-wrapper dd img.board-img","data-src"),    // 爬取电影名    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),    // 爬取电影主演信息    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),    // 爬取上映时间    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),  ])  ->query()->getData();  $excel_array=$data->all();  var_dump($excel_array);exit;}

如果没有错的 则

如果想继续抓取下一页的数据 要根据规律来去

这里我继续抓取20页 但是没有那么多就抓取了10页的数据

public function qulist(){    for($i=0;$i<20;$i++){      $page=$i*10;      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)        // 设置采集规则        ->rules([          // 爬取图片地址          "src"=>array(".board-wrapper dd img.board-img","data-src"),          // 爬取电影名          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),          // 爬取电影主演信息          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),          // 爬取上映时间          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),        ])        ->query()->getData();      $excel_array=$data->all();      var_dump($excel_array);exit;    }}

将数据插入到数据库 详细步骤

更多关于thinkPHP相关内容感兴趣的读者可查看本站专题：《ThinkPHP入门教程》、《thinkPHP模板操作技巧总结》、《ThinkPHP常用方法总结》、《codeigniter入门教程》、《CI(CodeIgniter)框架进阶教程》、《Zend FrameWork框架入门教程》及《PHP模板技术总结》。

希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。

您可能感兴趣的文章:

• tp5(thinkPHP5)操作mongoDB数据库的方法
• thinkPHP5实现数据库添加内容的方法
• tp5(thinkPHP5)框架实现多数据库查询的方法
• tp5(thinkPHP5)框架数据库Db增删改查常见操作总结
• tp5(thinkPHP5)框架连接数据库的方法示例
• thinkPHP5框架数据库连贯操作之cache()用法分析
• thinkPHP5框架实现多数据库连接，跨数据连接查询操作示例
• PHP7使用ODBC连接SQL Server2008 R2数据库示例【基于thinkPHP5.1框架】
• Thinkphp5框架实现获取数据库数据到视图的方法
• PHP利用pdo_odbc实现连接数据库示例【基于ThinkPHP5.1搭建的项目】
• ThinkPHP5.1框架数据库链接和增删改查操作示例
• ThinkPHP5.0框架实现切换数据库的方法分析