laravel+Guzzle配合正则实现爬虫功能爬取或批量爬取网站数据
Laravel  /  管理员 发布于 2020-04-26 16:58:35   1083
laravel+Guzzle配合正则爬取或批量爬取网站数据;
思路:模拟请求url,把页面数据通过正则处理保存有用的数据存入数据库或文件
请求url:http://www.zongscan.com/demo333/178.html 用我博客里面的一篇文章测试
看看html
//Guzzle 简单爬取数据
$url = "http://www.zongscan.com/demo333/178.html";
$request = new GuzzleRequest('GET', $url);
$client = new \GuzzleHttp\Client();
$response = $client->send($request, ['timeout' => 5]);
//获取页面数据
$content = $response->getBody()->getContents();
// 通过 preg_replace 函数使页面源码由多行变单行
$htmlOneLine = preg_replace("/\r|\n|\t/","",$content);
//获取这个标签及里面的内容
preg_match("/<div class=\"jumbotron\">(.*)<\/div>/iU",$htmlOneLine,$titleArr);
$a = $titleArr[0];
//如果想要把html标签清掉就用strip_tags() 自己去发挥
dd( $a );
//拿到这数据就可以自己操作了 比如存数据库就拼sql...
最后如果要批量爬取的话可以封装个方法循环添加id爬取,可能你有其他的方式curl等等...
博主 在
国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 @请教 小图标没有出现 重复检查步骤5,进去看看右下角是否开启..请教 在
国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 你好,我也遇到了安装完右上角没有显示图标,也不能打开相关网页的问题,用的是谷歌浏..Test11 在
laravel查询构造器中whereNotKey,whereKey,firstWhere用法详解中评论 <script>alert(\test\)</script&g..博主 在
国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 @西瓜: 每一步都操作完达到效果了吗? 对了是用谷歌浏览器吧..西瓜 在
国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 你好 我安装完右上角没有显示图标,也不能打开相关网页,是怎么回事呢?..Auther ·HouTiZong© 2009-2020 zongscan.com 版权所有ICP证:
粤ICP备20027696号
也可以扫右边的二维码