项目介绍：
本文主要介绍利用selenium库对动态渲染页面的抓取，并介绍一些反爬的操作，以淘宝网为例。Selenium简介：
Selenium是一个自动化测试工具，利用它可以实现驱动浏览器，模拟人真实的行为，如点击，下拉等操作；在访问服务器方面，它的安全性是高于requests库的，不需要构造虚拟请求，所有的操作都真实发生；同时，selenium获取网页信息的方法是基于网页的elements而不是network，即获得当前页面封装后的代码（通常浏览器的network获得服务器的文件是json或html格式，需要解析方才组成elements）；Selenium主要解决JavaScript动态渲染页面的数据抓取；Selenium支持多种浏览器，本文以Chrome为例，需要浏览器驱动webdriver，下载地址为：ChromeDriver ，选择对应浏览器的相对应版本进行安装；Selenium版本：3.141.0；官方文档：中文链接；问题描述：
from urllib.parse import quotefrom selenium import webdriverbrowser=webdriver.Chrome()browser.maximize_window()browser.get('/search?q='+quote('iphone'))
这里是正常情况下使用selenium库中的webdriver去请求淘宝网出现的情况，遇见了输入账号密码的情况，下面以此问题展开介绍解决方式。
解决方案：
修改options属性：
webdriver.Chrome()具有多个属性，其中之一为options属性，默认值为None；options属性可以通过Options类来进行赋值，传入到webdriver.Chrome()中，进而改变浏览器的操作方式，下面的代码块即为Options类，它具有很多属性，我们就是通过改变这些属性值来实现网页的请求；代码如下（示例）：
class Options(object):KEY = "goog:chromeOptions"def __init__(self):self._binary_location = ''self._arguments = []self._extension_files = []self._extensions = []self._experimental_options = {}self._debugger_address = Noneself._caps = DesiredCapabilities.CHROME.copy()
具体操作如下：
通过self._arguments = []属性，在本地创建一个Chrome配置目录，这样做的原因是因为：创建一个新的目录就不会影响源目录，其次如果我们用已经添加这个属性的webdriver.Chrome()会记录我们之前的信息，如登陆的账号密码等，这样就可以解决登陆问题而不会出现登陆弹窗；代码如下（示例）：
option.add_argument('--user-data-dir=~/code/chrome-test')
我们可以再次配置self._arguments = []属性，修改我们的请求头即‘–user-agent’，这里的请求头可以从自己的Google浏览器里去查找，在地址搜索栏中输入chrome://version/，获取自己的Chrome的配置信息，得到自己的–user-agent；–user-data-dir是配置文件变量名，~/code/chrome-test是放入配置文件的目录，这个目录是自己指定，自己选择，读者根据自己的系统和预存路径自行选择；
如果你已经运行了，并且登陆了淘宝网的账号，运行代码，进行了前几次访问可能会正常，但是之后就会出现了下图的问题
代码如下（示例）：
option.add_argument('--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36')
为了安全起见，我们再把chorme的头部的自动化检测信息消除掉，因为往往大多的反爬虫机制都是检测此信息（如下图所示）；
代码如下（示例）：
option.add_argument("--disable-blink-features=AutomationControlled")option.add_experimental_option("excludeSwitches", ["enable-automation"])option.add_experimental_option('useAutomationExtension', False)
改变以上属性后，则可以呈现出淘宝商品页面如下；
整体代码如下（示例）：：
from selenium.webdriver.chrome.options import Optionsoption = Options()option.add_extension("/Users/sunsky/Desktop/Crawler/ScrapyTools/mcbpblocgmgfnpjjppndjkmgjaogfceg/take-webpage-screenshots.crx")option.add_experimental_option("excludeSwitches", ["enable-automation"])option.add_experimental_option('useAutomationExtension', False)option.add_argument("--disable-blink-features=AutomationControlled")option.add_argument('--user-data-dir=~/code/chrome-test')option.add_argument('--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36')browser=webdriver.Chrome(options=option)
对Options()对象添加变量（option.add_argument（））有很多选择，本文只是列举了一部分，更多的变量添加可以参考：/a//chromedriver/capabilities本文是通过自动化检测工具Selenium进行数据抓取，一般的做法（reques库+解析库）请参考抓取天猫网商品信息我们已经建立好可以请求淘宝页面的webdriver对象，所以下面可以按照正常的爬虫流程进行操作；
数据抓取：
未完待续！！！
如果觉得《抓取淘宝网商品信息》对你有帮助，请点赞、收藏，并留下你的观点哦！
