python爬虫BeautifulSoup快速抓取网站图片

Python  /  管理员 发布于 1年前   735

本文介绍BeautifulSoup模块的使用方法，以及注意点，帮助大家快速了解和学习BeautifulSoup模块。有兴趣了解爬虫的小伙伴们，赶快学起来吧。关注公众号可获取爬虫教程哦。

第一步：了解需求

在开始写之前，我们需要知道我们要做什么？做爬虫。

抓取什么？抓取网站图片。

在什么地方抓取？图片之家_图片大全_摄影图片为主的国内综合性图片网

大家可以用这个网站练练手，页面也是比较简单的。

第二步：分析网站因素

我们知道我们需要抓取的是那一个网站数据，因此，我们要来分析一下网站是如何提供数据的。

根据分析之后，所有页面似乎都是相同的，那我们选择一个摄影图来为大家做演示。

1、获取列表标题，以及链接

进一步研究页面数据，每一个页面，下方都有一个列表，然后通过列表标题，进入到下一级中。那这个页面我们需要获取列表标题。

2、获取图片列表，以及链接，以及翻页操作

3、获取图片详情，所有图片

再点击继续研究，发现图片还有多张。

分析完成，我们来编写代码。

流程图如下：

第三步：编写代码实现需求

1、导入模块

导入我们需要使用到的所有模块。

2、获取列表标题，以及链接

 3、获取分类列表标题，链接，以及翻页。

4、获取详情图片，并保存

知识点总结

学会此文，可掌握知识点。

1、掌握BeautifulSoup

区分find，find_all的用法：find，查找第一个返回字符串，find_all 查找所有，返回列表

区分get，get_text的用法：get获取标签中的属性，get_text获取标签包围的文字。

2、掌握正则，re.findall 的使用

3、掌握字符串切片的方式  str[0,-5]  截取第一个文字，到倒数第5个文字。

4、掌握创建文件夹的方法os.mkdir(name)

5、掌握with open（f，w） as f：的用法

6、掌握requests模块的get请求方法。