详解python selenium 爬取网易云音乐歌单名

Python  /  管理员 发布于 7年前   150

目标网站：

首先获取第一页的数据，这里关键要切换到iframe里

打印一下

获取剩下的页数，这里在点击下一页之前需要设置一个延迟，不然会报错。

结果：

一共37页，爬取完毕后关闭浏览器

完整代码：

url = 'https://music.163.com/#/discover/playlist/'from selenium import webdriverimport time# 创建浏览器对象window = webdriver.Chrome('./chromedriver')window.get(url)time.sleep(1)# 切换到iframe窗口iframe = window.find_element_by_id('g_iframe')window.switch_to.frame(iframe)music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')for music_element in music_list: print(music_element.text) print()print('*'*20)page = 1# 开始提取while True: time.sleep(2) # 获取下一页 next = window.find_element_by_link_text('下一页') if not next.get_attribute('class') == 'zbtn znxt js-disabled':  next.click() else:  break time.sleep(1) # 提取数据 music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li') for music_element in music_list:  print(music_element.text)  print() print(page,'*'*20) page+=1# 退出浏览器window.quit()

以上所述是小编给大家介绍的python selenium爬取网易云音乐歌单名详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对站的支持！