侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

Java实现的基于模板的网页结构化信息精准抽取组件:HtmlExtractor

Java  /  管理员 发布于 3年前   321

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。

 

HtmlExtractor是为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。

如何使用?

HtmlExtractor由2个子项目构成,html-extractor和html-extractor-web。html-extractor实现了数据抽取逻辑,是从节点,html-extractor-web提供web界面来维护抽取规则,是主节点。html-extractor是一个jar包,可通过maven引用:
<dependency>    <groupId>org.apdplat</groupId>    <artifactId>html-extractor</artifactId>    <version>1.0</version></dependency>
  html-extractor-web是一个war包,需要部署到Servlet/Jsp容器上。

单机集中式使用方法:

//1、构造抽取规则List<UrlPattern> urlPatterns = new ArrayList<>();//1.1、构造URL模式UrlPattern urlPattern = new UrlPattern();urlPattern.setUrlPattern("http://money.163.com/\\d{2}/\\d{4}/\\d{2}/[0-9A-Z]{16}.html");//1.2、构造HTML模板HtmlTemplate htmlTemplate = new HtmlTemplate();htmlTemplate.setTemplateName("网易财经频道");htmlTemplate.setTableName("finance");//1.3、将URL模式和HTML模板建立关联urlPattern.addHtmlTemplate(htmlTemplate);//1.4、构造CSS路径CssPath cssPath = new CssPath();cssPath.setCssPath("h1");cssPath.setFieldName("title");cssPath.setFieldDescription("标题");//1.5、将CSS路径和模板建立关联htmlTemplate.addCssPath(cssPath);//1.6、构造CSS路径cssPath = new CssPath();cssPath.setCssPath("div#endText");cssPath.setFieldName("content");cssPath.setFieldDescription("正文");//1.7、将CSS路径和模板建立关联htmlTemplate.addCssPath(cssPath);//可象上面那样构造多个URLURL模式urlPatterns.add(urlPattern);//2、获取抽取规则对象ExtractRegular extractRegular = ExtractRegular.getInstance(urlPatterns);//注意:可通过如下3个方法动态地改变抽取规则//extractRegular.addUrlPatterns(urlPatterns);//extractRegular.addUrlPattern(urlPattern);//extractRegular.removeUrlPattern(urlPattern.getUrlPattern());//3、获取HTML抽取工具HtmlExtractor htmlExtractor = HtmlExtractor.getInstance(extractRegular);//4、抽取网页String url = "http://money.163.com/08/1219/16/4THR2TMP002533QK.html";List<ExtractResult> extractResults = htmlExtractor.extract(url, "gb2312");//5、输出结果int i = 1;for (ExtractResult extractResult : extractResults) {    System.out.println((i++) + "、网页 " + extractResult.getUrl() + " 的抽取结果");    for(ExtractResultItem extractResultItem : extractResult.getExtractResultItems()){        System.out.print("\t"+extractResultItem.getField()+" = "+extractResultItem.getValue());                  }    System.out.println("\tdescription = "+extractResult.getDescription());    System.out.println("\tkeywords = "+extractResult.getKeywords());}

 

多机分布式使用方法:

1、运行主节点,负责维护抽取规则:  将子项目html-extractor-web打成War包然后部署到Tomcat。2、获取一个HtmlExtractor的实例(从节点),示例代码如下:
String allExtractRegularUrl = "http://localhost:8080/HtmlExtractorServer/api/all_extract_regular.jsp";String redisHost = "localhost";int redisPort = 6379;HtmlExtractor htmlExtractor = HtmlExtractor.getInstance(allExtractRegularUrl, redisHost, redisPort);
3、抽取信息,示例代码如下:
String url = "http://money.163.com/08/1219/16/4THR2TMP002533QK.html";List<ExtractResult> extractResults = htmlExtractor.extract(url, "gb2312");int i = 1;for (ExtractResult extractResult : extractResults) {    System.out.println((i++) + "、网页 " + extractResult.getUrl() + " 的抽取结果");    for(ExtractResultItem extractResultItem : extractResult.getExtractResultItems()){        System.out.print("\t"+extractResultItem.getField()+" = "+extractResultItem.getValue());                  }    System.out.println("\tdescription = "+extractResult.getDescription());    System.out.println("\tkeywords = "+extractResult.getKeywords());}
 



  • 上一条:
    Java实现的简单双向Map,支持重复Value
    下一条:
    Java 并发包之线程池和原子计数
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 在php8.0+版本中使用属性来增加值代码示例(0个评论)
    • java 正则表达式基础,实例学习资料收集大全 原创(0个评论)
    • java正则表达式彻底研究(0个评论)
    • java正则表达式验证函数(0个评论)
    • MVC、MVP和MVVM分别是什么(0个评论)
    • 近期文章
    • 在go语言中对Grpc工具buf.build使用流程步骤(0个评论)
    • 宝塔面板Nginx开启Brotli压缩流程步骤,提升网站加载速度(0个评论)
    • 在go语言中如何判断用户代理是否为移动设备的示例(0个评论)
    • 在go语言中实现一个函数来检查用户代理是否是机器人或爬虫的示例(0个评论)
    • Laravel 10.13版本发布(0个评论)
    • 在github创建task的同时创建分支流程步骤(0个评论)
    • 在go语言中以邮件标题中获取SPF和DMARC,来判断是否为垃圾邮件之垃圾邮件过滤器功能实现(0个评论)
    • 在go语言中使用attr字段标签提取XML属性数据示例(0个评论)
    • 在laravel中介绍一个生成假数据的PHP库:FakerPHP(0个评论)
    • 在laravel框架中对环境配置文件的加载过程步骤浅析(0个评论)
    • 近期评论
    • 博主 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 @ xiaoB 你只管努力,剩下的叫给天意;天若有情天亦老,..
    • xiaoB 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 会不会春节放假后又阳一次?..
    • BUG4 在

      你翻墙过吗?国内使用vpn翻墙可能会被网警抓,你需了解的事中评论 不是吧?..
    • 博主 在

      go语言+beego框架中获取get,post请求的所有参数中评论 @ t1  直接在router.go文件中配就ok..
    • Jade 在

      如何在MySQL查询中获得当月记录中评论 Dear zongscan.com team, We can skyroc..
    • 2016-11
    • 2018-03
    • 2020-03
    • 2023-05
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客