侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 中国象棋ai
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

Node.js实现简单的爬取的示例代码

前端  /  管理员 发布于 5年前   237

学习【node.js】也有几天时间了,所以打算写着练练手;索然我作为一个后端的选手,写起来还有那么一丝熟悉的感觉。emmm~~ ‘货'不多讲 ,开搞........

首先是依赖选择:

代码块如下:

//引入依赖//https请求const https = require('https');//简称node版的jqueryconst cheerio = require('cheerio');//解决防止出现乱码const iconv = require('iconv-lite')//http请求const request = require("request");//负责读写文件const fs = require('fs');//处理文件路径const path = require('path');

爬取路径:

代码块:(PS:这里单独拿出来是因为这个站的素材比较推荐,可以上去瞅瞅~~)

const url = 'https://unsplash.com/';

初步实现:

网站的基本构成

这里主要是我们直接确认一下需要的【img】标签,以及外面的【figure】,然后直接就可以开工了....

核心代码:

//方法对象const util = {   getsrc: function (url) {    https.get(url, res => {      const chunks = [];      res.on('data', chunk => {        // chunks里面存储着网页的html内容        chunks.push(chunk);      });      res.on('end', e => {         let ALL = [];        //编码格式        let html = iconv.decode(Buffer.concat(chunks), 'utf8');        let $ = cheerio.load(html, { decodeEntities: false });         //标签遍历        $("figure img").each(function (idex, elent) {          let $elent = $(elent);          let $srcset = $elent.attr("srcset");          if ($srcset != undefined) {            let src = ($srcset.split(',').pop()).split('?')[0];            ALL.push({              src: src            })          }        });        //遍历数组 每个后面加.jpg        ALL.forEach(item => {          util.downloadimg(item.src, path.basename(item.src) + ".jpg", function () {            console.log(path.basename(item.src) + ".jpg");          });        })      });       res.on('error', e => {        console.log('Error: ' + e.message);      });    });  },   //运行主函数  main: function () {    console.log("------start--------");    util.getsrc(url);  },  //下载图片函数  downloadimg: function (src, srcname, callback) {     //http请求    request.head(src, function (err, res, body) {      if (err) {        console.log('err:' + err);        return false;      }      console.log('res: ' + res);      //保存数据,这里是防止未来得及记录数据又开始读取数据而导致数据丢失      request(src).pipe(fs.createWriteStream('./img/' + srcname)).on('close', callback);    });  }} //主函数util.main();

然后就可以运行 node xxx.js 看运行结果。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

您可能感兴趣的文章:

  • 如何使用Node.js爬取任意网页资源并输出PDF文件到本地
  • node.js爬取中关村的在线电瓶车信息
  • 手把手教你用Node.js爬虫爬取网站数据的方法
  • Node.js爬取豆瓣数据实例分析
  • 利用node.js爬取指定排名网站的JS引用库详解
  • 利用node.js写一个爬取知乎妹纸图的小爬虫
  • node.js爬虫爬取拉勾网职位信息
  • 利用Node.js制作爬取大众点评的爬虫
  • Node.js环境下编写爬虫爬取维基百科内容的实例分享


  • 上一条:
    vue分页器组件编写方法详解
    下一条:
    基于Node.js搭建hexo博客过程详解
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 使用 Alpine.js 排序插件对元素进行排序(0个评论)
    • 在js中使用jszip + file-saver实现批量下载OSS文件功能示例(0个评论)
    • 在vue中实现父页面按钮显示子组件中的el-dialog效果(0个评论)
    • 使用mock-server实现模拟接口对接流程步骤(0个评论)
    • vue项目打包程序实现把项目打包成一个exe可执行程序(0个评论)
    • 近期文章
    • 在go中实现一个常用的先进先出的缓存淘汰算法示例代码(0个评论)
    • 在go+gin中使用"github.com/skip2/go-qrcode"实现url转二维码功能(0个评论)
    • 在go语言中使用api.geonames.org接口实现根据国际邮政编码获取地址信息功能(1个评论)
    • 在go语言中使用github.com/signintech/gopdf实现生成pdf分页文件功能(0个评论)
    • gmail发邮件报错:534 5.7.9 Application-specific password required...解决方案(0个评论)
    • 欧盟关于强迫劳动的规定的官方举报渠道及官方举报网站(0个评论)
    • 在go语言中使用github.com/signintech/gopdf实现生成pdf文件功能(0个评论)
    • Laravel从Accel获得5700万美元A轮融资(0个评论)
    • 在go + gin中gorm实现指定搜索/区间搜索分页列表功能接口实例(0个评论)
    • 在go语言中实现IP/CIDR的ip和netmask互转及IP段形式互转及ip是否存在IP/CIDR(0个评论)
    • 近期评论
    • 122 在

      学历:一种延缓就业设计,生活需求下的权衡之选中评论 工作几年后,报名考研了,到现在还没认真学习备考,迷茫中。作为一名北漂互联网打工人..
    • 123 在

      Clash for Windows作者删库跑路了,github已404中评论 按理说只要你在国内,所有的流量进出都在监控范围内,不管你怎么隐藏也没用,想搞你分..
    • 原梓番博客 在

      在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..
    • 博主 在

      佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..
    • 1111 在

      佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..
    • 2016-10
    • 2016-11
    • 2017-06
    • 2017-07
    • 2017-08
    • 2017-09
    • 2017-10
    • 2017-11
    • 2018-03
    • 2018-04
    • 2018-05
    • 2018-06
    • 2018-09
    • 2018-11
    • 2018-12
    • 2019-02
    • 2020-03
    • 2020-04
    • 2020-05
    • 2020-06
    • 2021-04
    • 2021-05
    • 2021-07
    • 2021-08
    • 2021-09
    • 2021-10
    • 2021-11
    • 2022-08
    • 2022-09
    • 2022-10
    • 2022-11
    • 2022-12
    • 2023-01
    • 2023-02
    • 2023-03
    • 2023-04
    • 2023-05
    • 2023-06
    • 2023-07
    • 2023-09
    • 2023-10
    • 2023-11
    • 2023-12
    • 2024-01
    • 2024-02
    • 2024-03
    • 2024-04
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客