Node.js实现简单的爬取的示例代码

前端  /  管理员 发布于 5年前   242

学习【node.js】也有几天时间了，所以打算写着练练手；索然我作为一个后端的选手，写起来还有那么一丝熟悉的感觉。emmm~~ ‘货'不多讲 ，开搞........

首先是依赖选择：

代码块如下：

//引入依赖//https请求const https = require('https');//简称node版的jqueryconst cheerio = require('cheerio');//解决防止出现乱码const iconv = require('iconv-lite')//http请求const request = require("request");//负责读写文件const fs = require('fs');//处理文件路径const path = require('path');

爬取路径：

代码块：(PS：这里单独拿出来是因为这个站的素材比较推荐，可以上去瞅瞅~~)

const url = 'https://unsplash.com/';

初步实现：

网站的基本构成

这里主要是我们直接确认一下需要的【img】标签，以及外面的【figure】，然后直接就可以开工了....

核心代码：

//方法对象const util = {   getsrc: function (url) {    https.get(url, res => {      const chunks = [];      res.on('data', chunk => {        // chunks里面存储着网页的html内容        chunks.push(chunk);      });      res.on('end', e => {         let ALL = [];        //编码格式        let html = iconv.decode(Buffer.concat(chunks), 'utf8');        let $ = cheerio.load(html, { decodeEntities: false });         //标签遍历        $("figure img").each(function (idex, elent) {          let $elent = $(elent);          let $srcset = $elent.attr("srcset");          if ($srcset != undefined) {            let src = ($srcset.split(',').pop()).split('?')[0];            ALL.push({              src: src            })          }        });        //遍历数组 每个后面加.jpg        ALL.forEach(item => {          util.downloadimg(item.src, path.basename(item.src) + ".jpg", function () {            console.log(path.basename(item.src) + ".jpg");          });        })      });       res.on('error', e => {        console.log('Error: ' + e.message);      });    });  },   //运行主函数  main: function () {    console.log("------start--------");    util.getsrc(url);  },  //下载图片函数  downloadimg: function (src, srcname, callback) {     //http请求    request.head(src, function (err, res, body) {      if (err) {        console.log('err:' + err);        return false;      }      console.log('res: ' + res);      //保存数据，这里是防止未来得及记录数据又开始读取数据而导致数据丢失      request(src).pipe(fs.createWriteStream('./img/' + srcname)).on('close', callback);    });  }} //主函数util.main();

然后就可以运行 node xxx.js 看运行结果。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

您可能感兴趣的文章:

• 如何使用Node.js爬取任意网页资源并输出PDF文件到本地
• node.js爬取中关村的在线电瓶车信息
• 手把手教你用Node.js爬虫爬取网站数据的方法
• Node.js爬取豆瓣数据实例分析
• 利用node.js爬取指定排名网站的JS引用库详解
• 利用node.js写一个爬取知乎妹纸图的小爬虫
• node.js爬虫爬取拉勾网职位信息
• 利用Node.js制作爬取大众点评的爬虫
• Node.js环境下编写爬虫爬取维基百科内容的实例分享