先说一下selenium 的定位方法
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
前八种是大家都熟悉的，经常会用到的
1.id定位：find_element_by_id(self, id_)
2.name定位：find_element_by_name(self, name)
3.class定位：find_element_by_class_name(self, name)
4.tag定位：find_element_by_tag_name(self, name)
5.link定位：find_element_by_link_text(self, link_text)
6.partial_link定位find_element_by_partial_link_text(self, link_text)
7.xpath定位：find_element_by_xpath(self, xpath)
8.css定位：find_element_by_css_selector(self, css_selector）
这八种是复数形式
9.id复数定位find_elements_by_id(self, id_)
10.name复数定位find_elements_by_name(self, name)
11.class复数定位find_elements_by_class_name(self, name)
12.tag复数定位find_elements_by_tag_name(self, name)
13.link复数定位find_elements_by_link_text(self, text)
14.partial_link复数定位find_elements_by_partial_link_text(self, link_text)
15.xpath复数定位find_elements_by_xpath(self, xpath)
16.css复数定位find_elements_by_css_selector(self, css_selector
from bs4 import BeautifulSoupfrom selenium import webdrivertarget = '网页网址'option = webdriver.ChromeOptions()option.add_argument('headless') # 设置option,后台运行driver = webdriver.Chrome(chrome_options=option)driver.get(target)
单个按钮需要点击的话,只需要按照上面的1-8条找到需要点击的标签,然后添加click()方法就行了.
result= driver.find_element_by_class_name('需要点击的类名')result.click()
这样就实现了点击效果
多个按钮需要点击,可以选择复数形式9-16条.然后用对应的类名找到所有的标签,注意这里我用result_list,因为返回的是一个list列表,选择其中第4-7个标签,然后实现分别点击
result_list= driver.find_elements_by_class_name('需要点击的类名')for i in range(4, 8):result_list[i].click()
接下来就可以对展开的网页进行爬取了
selenium_page = driver.page_sourcedriver.quit()soup = BeautifulSoup(selenium_page, 'html.parser')# one = soup.find('div', {'class': '布拉布拉类名'}) 单个many= cities.find_all('div', {'class': '咕噜咕噜类名'}) #多个for i in many:content = i.find_all('p') #找到对应元素nation = content[0].get_text() # 读取内容
谁能仅靠十年寒窗苦读，去经营百岁人生?
活到老，学到老！
知识改变人生！
共勉！
如果觉得《python爬虫+selenium模拟点击+网页内容需要点击打开》对你有帮助，请点赞、收藏，并留下你的观点哦！
