laravel+Guzzle配合正则实现爬虫功能爬取或批量爬取网站数据

Laravel  /  管理员 发布于 1年前   1483

laravel+Guzzle配合正则爬取或批量爬取网站数据；

思路：模拟请求url,把页面数据通过正则处理保存有用的数据存入数据库或文件

请求url：http://www.zongscan.com/demo333/178.html 用我博客里面的一篇文章测试

看看html

//Guzzle 简单爬取数据
$url = "http://www.zongscan.com/demo333/178.html";
$request = new GuzzleRequest('GET', $url);
$client = new \GuzzleHttp\Client();
$response = $client->send($request, ['timeout' => 5]);
//获取页面数据
$content = $response->getBody()->getContents();
// 通过 preg_replace 函数使页面源码由多行变单行
$htmlOneLine = preg_replace("/\r|\n|\t/","",$content);
//获取这个标签及里面的内容
preg_match("/<div class=\"jumbotron\">(.*)<\/div>/iU",$htmlOneLine,$titleArr);
$a = $titleArr[0];
//如果想要把html标签清掉就用strip_tags() 自己去发挥
dd( $a );
//拿到这数据就可以自己操作了 比如存数据库就拼sql...

 

最后如果要批量爬取的话可以封装个方法循环添加id爬取，可能你有其他的方式curl等等...