php使用curl和正则表达式抓取网页数据示例
php / 管理员发布于 7年前 240

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode

SpiderTools.class.php

复制代码代码如下:

session_start();
//封装成类开启这些自动抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析出文章标题*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
 //初始化curl
 $ch= curl_init();
 //url
 $url='http://www.motie.com/book/'.$aid;
 if(is_numeric($aid)){
 //正则表达式匹配
 $ru="/\s*(.*)\s*<\/a>\s*<\/h1>/";
 }
 else{
 //丧尸爆发之全家求生路_第一章丧尸爆发　为吾友爱乐儿更新~_磨铁
 $ru="/(.*)<\/title>/"; } //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } //释放curl句柄 curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr); return $arr[1][0]; } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /*传入文章ID 解析文章内容*/ ////////////////////////////////////////////////////////////////////////////////////////////////////////// public function getBookContextById($aid){ //开始解析文章 $ids=array(); $ids=explode("_",$aid); $titleId=trim($ids[0]); $aticleId=trim($ids[1]); $ch= curl_init(); $ru="/<div class=\"page-content\">[\s\S]*<pre ondragstart=\"return false\" oncopy=\"return false;\" oncut=\"return false;\" oncontextmenu=\"return false\" class=\"note\" id=\"html_content_\d*\">[\s\S]*(.*)<\/pre>/ui"; $url='http://www.motie.com/book/'.$aid; //正则表达式匹配 //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } $arr=array(); $arr2=array(); preg_match_all($ru,$output,$arr); curl_close($ch); #var_dump($arr); $s=$arr[0][0]; $s=substr($s,180); $arr2=explode("<img",$s); return trim($arr2[0]); } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /*静态方法 @生成小说文件可以直接调用 */ ////////////////////////////////////////////////////////////////////////////////////////////////////////// public static function createBookById($id){ if(!is_numeric($id)){<a href="https://www.zongscan.com/"></a> echo " INIT BEGIN START WRITE!"; $st=new self(); $cons=$st->getBookContextById($id); $title=$st->getBookNameById($id); $cons=trim($cons); $t=explode(" ",$title); //构造目录 $dir=array(); $dir=explode("_",$t[0]); $wzdir=$dir[0]; //书名称作为目录名称 $wzchapter=$dir[1]; //第几章 //创建目录 $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码 if(!file_exists($wzdir2)){ mkdir($wzdir2); //创建目录 } //构造文件名 $wztitle="./".$wzdir."/"."$t[0]".".txt"; //保证保存的文件名称不是乱码 $wztitle=iconv("UTF-8", "GBK", $wztitle); $f=fopen($wztitle,"w+"); fwrite($f,$cons); echo "$wzdir ".$wzchapter."写入成功"; fclose($f); } else{ $ids=self::getBookIdsById($id); //这里服务器可能会掉线，所以最好用session记录循环 #for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){ #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id #} for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){ self::createBookById($id."_".$ids[$i]);//构造id } #echo "<hr/><hr/> <h1>写入工作全部完成</h1>"; #echo $id."_".$ids[0]." "; #var_dump($ids); } } /* 获取小说的所有ID @param $id 文章ID @return array; */ public static function getBookIdsById($aid){ $ch= curl_init(); $url='http://www.motie.com/book/'.$aid."/chapter"; //注意这里的?可以获取最少匹配项 $ru='/[\s\S]*?<li class=\"\" createdate=\"\d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2}\">[\s\S]*?.*?<\/a>.*?/u';//正则表达式匹配 //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } //释放curl句柄 curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER); return $arr[1]; } } ?> getinfo.php 复制代码 代码如下:<div id="code89067"> <?php session_start(); require_once("SpiderTools.class.php"); if($_REQUEST["bid"]){ if(is_numeric($_REQUEST["bid"])){ SpiderTools::createBookById(trim($_REQUEST["bid"])); } else{ echo " 请输入正确的文章ID "; } } ?> index.html <a href="https://www.zongscan.com/"></a>复制代码 代码如下:<div id="code67041" contentScore="1424"> <html> <head><meta charset="utf-8"/></head> <title>下载小说啦

输入磨铁中文网你想看到的小说ID号就可以下载小说啦

PS：关于正则，这里再为大家推荐2款本站的正则表达式在线工具供大家参考使用（包括正则生成、匹配、验证等功能）：

JavaScript正则表达式在线测试工具：http://tools..net.cn/regex/javascript

正则表达式在线生成工具：http://tools..net.cn/regex/create_reg

您可能感兴趣的文章:

一个PHP实现的轻量级简单爬虫
PHP代码实现爬虫记录――超管用
php 向访客和爬虫显示不同的内容
php IIS日志分析搜索引擎爬虫记录程序
PHP爬虫之百万级别知乎用户数据爬取与分析
php与python实现的线程池多线程爬虫功能示例
利用php抓取蜘蛛爬虫痕迹的示例代码
PHP实现采集抓取淘宝网单个商品信息
PHP curl实现抓取302跳转后页面的示例
PHP CURL模拟登录新浪微博抓取页面内容基于EaglePHP框架开发
PHP多线程抓取网页实现代码
PHPCrawl爬虫库实现抓取酷狗歌单的方法示例

上一条：
php实现上传图片生成缩略图示例
下一条：
开源php中文分词系统SCWS安装和使用实例

0条评论 (评论内容有缓存机制,请悉知!)

最新最热

相关文章
Laravel从Accel获得5700万美元A轮融资(0个评论)
PHP 8.4 Alpha 1现已发布！(0个评论)
用Time Warden监控PHP中的代码处理时间(0个评论)
在PHP中使用array_pop + yield实现读取超大型目录功能示例(0个评论)
Property Hooks RFC在PHP 8.4中越来越接近现实(0个评论)

近期文章
智能合约Solidity学习CryptoZombie第四课:僵尸作战系统(0个评论)
智能合约Solidity学习CryptoZombie第三课:组建僵尸军队(高级Solidity理论)(0个评论)
智能合约Solidity学习CryptoZombie第二课:让你的僵尸猎食(0个评论)
智能合约Solidity学习CryptoZombie第一课:生成一只你的僵尸(0个评论)
在go中实现一个常用的先进先出的缓存淘汰算法示例代码(0个评论)
在go+gin中使用"github.com/skip2/go-qrcode"实现url转二维码功能(0个评论)
在go语言中使用api.geonames.org接口实现根据国际邮政编码获取地址信息功能(1个评论)
在go语言中使用github.com/signintech/gopdf实现生成pdf分页文件功能(0个评论)
gmail发邮件报错:534 5.7.9 Application-specific password required...解决方案(0个评论)
欧盟关于强迫劳动的规定的官方举报渠道及官方举报网站(0个评论)

近期评论
122 在
学历：一种延缓就业设计，生活需求下的权衡之选中评论工作几年后，报名考研了，到现在还没认真学习备考，迷茫中。作为一名北漂互联网打工人..
123 在
Clash for Windows作者删库跑路了，github已404中评论按理说只要你在国内，所有的流量进出都在监控范围内，不管你怎么隐藏也没用，想搞你分..
原梓番博客在
在Laravel框架中使用模型Model分表最简单的方法中评论好久好久都没看友情链接申请了，今天刚看，已经添加。..
博主在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了，可以看看近期评论的其他文章..
1111 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论网站不能打开，博主百忙中能否发个APP下载链接，佛跳墙或极光..

Top