使用requests库制作Python爬虫
Python  /  管理员 发布于 6年前   86
使用python爬虫其实就是方便,它会有各种工具类供你来使用,很方便。Java不可以吗?也可以,使用httpclient工具、还有一个大神写的webmagic框架,这些都可以实现爬虫,只不过python集成工具库,使用几行爬取,而Java需要写更多的行来实现,但目的都是一样。
下面介绍requests库简单使用:
#!/usr/local/env python# coding:utf-8import requests#下面开始介绍requests的使用,环境语言是python3,使用下面的网址作为参考#http://www.sse.com.cn/market/bonddata/data/tb/request_param = {'jsonCallBack': 'jsonpCallback6588', 'isPagination': 'true', 'sqlId': 'COMMON_BOND_XXPL_ZQXX_L', 'BONDTYPE': '地×××府债券', 'pageHelp.pageSize': '25', 'pageHelp.pageNo': '2', 'pageHelp.beginPage': '2', 'pageHelp.cacheSize': '1', 'pageHelp.endPage': '21'}user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'#设置headersheaders = {'User-Agent': user_agent, 'Referer': referer}#设置代理proxy = { "http":"http://113.214.13.1:8000"}# 需要请求的URL地址request_url = 'http://query.sse.com.cn/commonQuery.do?'#设置请求地址response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);print(response.status_code)#文本响应内容print(response.text)#json格式响应内容print(response.json())#二进制响应内容print(response.content)#原始格式print(response.raw)
123 在
Clash for Windows作者删库跑路了,github已404中评论 按理说只要你在国内,所有的流量进出都在监控范围内,不管你怎么隐藏也没用,想搞你分..原梓番博客 在
在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..博主 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..1111 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..路人 在
php中使用hyperf框架调用讯飞星火大模型实现国内版chatgpt功能示例中评论 教程很详细,如果加个前端chatgpt对话页面就完美了..Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号