Python多进程方式抓取基金网站内容的方法分析

Python  /  管理员 发布于 7年前   342

本文实例讲述了Python多进程方式抓取基金网站内容的方法。分享给大家供大家参考，具体如下：

在前面这篇///article/162418.htm我们已经简单了解了”python的多进程”，现在我们需要把抓取基金网站(28页)内容写成多进程的方式。

因为进程也不是越多越好，我们计划分3个进程执行。意思就是 ：把总共要抓取的28页分成三部分。

怎么分呢？

# 初始ranger = range(1,29)# 步长step = 10myList = [r[x:x+step] for x in range(0,len(r),step)]print(myList) # [range(1, 11), range(11, 21), range(21, 29)]

看上面代码，我们就把1~29分成了三部分，list里三个range。

2、还记得我们抓取基金网站内容的getData()函数？

def getData(start, end):  for x in range(start, end+1):    # 去第几页 输入框    tonum = driver.find_element_by_id("tonum")    # 去第几页 提交按钮    jumpBtn = driver.find_element_by_id("btn_jump")    tonum.clear() # 第x页 输入框    tonum.send_keys(str(x)) # 去第x页    jumpBtn.click() # 点击按钮    WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \        .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \        .get_attribute("class").find("at") != -1)    # 保存抓取到的html内容    # 保存到html目录下    with open("./htmls/{0}.txt".format(x),"wb") as f:      f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))      f.close()

函数是有2个参数：一个开始页码，一个结束页码，也就是从第start页，到第end页。

这2个参数实际上也是range。

改造getData()函数如下（参数不同了）：

# 循环抓取网页内容的函数def getData(myrange):  for x in myrange:    # 去第几页 输入框    tonum = driver.find_element_by_id("tonum")    # 去第几页 提交按钮    jumpBtn = driver.find_element_by_id("btn_jump")    tonum.clear() # 第x页 输入框    tonum.send_keys(str(x)) # 去第x页    jumpBtn.click() # 点击按钮    WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \        .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \        .get_attribute("class").find("at") != -1)    # 保存抓取到的html内容    # 保存到html目录下    with open("./htmls/{0}.txt".format(x),"wb") as f:      f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))      f.close()

3、创建进程，把target设置为上面的getData()：

# 初始ranger = range(1,int(total_page)+1)# 步长step = 10myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段# 创建进程processList = []if __name__ == "__main__":  for r in myList:    p = Process(target=getData,args=(r,))    processList.append(p)  # 开始执行进程  for p in processList:    p.start()

这样就有三个进程分别抓取。

4、多进程抓取基金网站多页内容完全代码：

# coding: utf-8from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditionsfrom multiprocessing import Processdriver = webdriver.PhantomJS(executable_path=r"你phantomjs的可执行文件路径")# 请求一个网址driver.get("http://fund.eastmoney.com/fund.html")page_text = driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").texttotal_page = ''.join(filter(str.isdigit,page_text)) # 得到总共有多少页# 循环抓取网页内容的函数def getData(myrange):  for x in myrange:    # 去第几页 输入框    tonum = driver.find_element_by_id("tonum")    # 去第几页 提交按钮    jumpBtn = driver.find_element_by_id("btn_jump")    tonum.clear() # 第x页 输入框    tonum.send_keys(str(x)) # 去第x页    jumpBtn.click() # 点击按钮    WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \        .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \        .get_attribute("class").find("at") != -1)    # 保存抓取到的html内容    # 保存到html目录下    with open("./htmls/{0}.txt".format(x),"wb") as f:      f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))      f.close()# 初始ranger = range(1,int(total_page)+1)# 步长step = 10myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段# 创建进程processList = []if __name__ == "__main__":  for r in myList:    p = Process(target=getData,args=(r,))    processList.append(p)  # 开始执行进程  for p in processList:    p.start()

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。