python3爬虫获取html内容及各属性值的方法

Python  /  管理员 发布于 7年前   198

今天用到BeautifulSoup解析爬下来的网页数据

首先导入包from bs4 import BeautifulSoup

然后可以利用urllib请求数据

记得要导包

import urllib.request

然后调用urlopen，读取数据

f=urllib.request.urlopen(‘http://jingyan.baidu.com/article/455a9950bc94b8a166277898.html‘) response=f.read()

这里我们就不请求数据了，直接用本地的html代码，如下

注意：”'xxx”'是多行注释 

#python3from bs4 import BeautifulSouphtml='''<html><head> <title class='ceshi'>super 哈哈 star</title></head><body> 天下第一帅 <p class='sister'>  是不是 </p></body></html>'''#用BeautifulSoup解析数据 python3 必须传入参数二'html.parser' 得到一个对象，接下来获取对象的相关属性html=BeautifulSoup(html,'html.parser')# 读取title内容print(html.title)# 读取title属性attrs=html.title.attrsprint(attrs)# 获取属性attrs['class'] ---->['ceshi'] 这是一个list 通过下标可以获取值print(attrs['class'][0])# 读取bodyprint(html.body)读取数据还可以通过BeautifulSoup的select方法html.select()#按标签名查找 soup.select('title')soup.select('body')# 按类名查找soup.select('.sister')# 按id名查找# p标签中id为link的标签soup.select('p #link')#取标签里面的值soup.p.string#取标签里属性值 通过href获取html['href']

以上这篇python3爬虫获取html内容及各属性值的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。


  • 上一条：
    python矩阵的转置和逆转实例
    下一条：
    解决Python中list里的中文输出到html模板里的问题

    • 昵称：

    邮箱：

    0条评论 (评论内容有缓存机制,请悉知!)
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客