Selenium使用完全指南(内容太多,建议收藏后学习)

大家好，欢迎来到IT知识分享网。

虽然我们可以通过 requests 来模拟浏览器发送请求，并通过解析接口响应的结果来分析获取想要数据，但是现实中的情况往往要比示例中的要复杂的多，互联网数据是企业非常重要的资源，因此数据保护也非常重要，再加之现在很多网站的数据都是针对每个用户有专门的推荐，因此数据绝大多数情况是动态执行出来的。这些都增加了获取网页数据的复杂程度。

比如像淘宝，京东这些大型互联网公司的网站，即使我们通过模拟请求获取到数据，有许多内容都是被加密的，直接分析请求反而不是一种明智的选择。

为了解决这些问题，我们可以直接模拟浏览器运行的方式来实现，做到所见即所得，不管服务网站做了什么样的加密，只要能在浏览器完整的显示，那就可以获取到相应的数据。这就需要使用一些模拟浏览器的库来完成，常见的有 Selenium，PyV8，Ghost 等。本文将详细介绍如何使用 Selenium 的使用。

Selenium

快速开始

Selenium 是一款自动化测试工具，通过它可以驱动浏览器执行特定的动作，如点击、下拉、滑动等等，最重要的是可以获取到页面的数据，真正做到了可见即可爬的效果。因此对于一些动态的数据内容，只要能真实展示在浏览器上，那就可以获取到其数据。

在开始使用 Selenium 之前，需要做一些前置工作，安装 Chrome 浏览器，并配置好 ChromeDriver，另外还需要安装三方库 Selenium。(ChromeDriver 需要注意版本需要和 Chrome 相对应，否则导致闪退)。

# 安装Selenium库 pip install Selenium

以下是获取豆瓣 250 电影的一个示例代码

from selenium import webdriver from selenium.webdriver.common.by import By browser = webdriver.Chrome() # 打开网页 browser.get("https://movie.douban.com/top250") # 获取节点 els = browser.find_elements(By.CLASS_NAME, "title") for el in els: txt = el.text if not txt.startswith(" /"): print(txt) # 肖申克的救赎 # 霸王别姬 # 阿甘正传 # 泰坦尼克号 # 这个杀手不太冷 # 千与千寻 # 美丽人生 # 星际穿越 # 盗梦空间 # 辛德勒的名单 # 楚门的世界 # ......

上边代码中, 首先需要webdriver.Chrome()方法来获取到浏览器实例, 此时会打开一个 Chrome 浏览器窗口, 再通过调用browser.get 方法访问目标网址获取网页数据，此时，就可以使用元素查找方法 browser.find_elements 指定查找类型和 class 名字来找到对应的元素标签。

获取豆瓣电影

获取浏览器对象及访问页面

虽然绝大多数 Selenium 教程中都会用 Chrome，其实其支持的浏览器非常多包括 Firefox，Edge（Edge 由于历史原因存在两个版本，在使用时需要区分），Android 等，甚至包括无界面浏览器 PhantomJS。需要注意的是，每种浏览器都需要对应的驱动来支持。

from selenium import webdriver # 获取Chrome webdriver.Chrome() # 获取Chromium内核Edge webdriver.ChromiumEdge() # 获取Edge webdriver.Edge() # 获取火狐 webdriver.Firefox() # 获取IE浏览器 webdriver.Ie()

在上方获取到浏览器对象后， 就可以使用 get 方法来请求页面了， 只需要传入 url 地址即可。

from selenium import webdriver browser = webdriver.Chrome() browser.get("https://www.baidu.com") print(browser.title) # 百度一下，你就知道

如上代码中，就成功访问了百度首页， 并获取到了网站的标题。

节点操作

爬虫最重要的目的就是要网站内容，因此节点查找是一个非常重要的功能。Selenium 提供了非常丰富的功能，包括可以填充表单，模拟点击等，但这些前提是找到对应的标签。

查找单个节点

Selenium 查找节点有多种方式，可以通过 id，xpath 等等，以下是可选用方式的源码

# 可用的查找方法 class By: ID = "id" XPATH = "xpath" LINK_TEXT = "link text" PARTIAL_LINK_TEXT = "partial link text" NAME = "name" TAG_NAME = "tag name" CLASS_NAME = "class name" CSS_SELECTOR = "css selector" # 以class_name查找 browser.find_element(By.CLASS_NAME, "title") # 获取到的Selenium节点对象 #<selenium.webdriver.remote.webelement.WebElement #(session="fe8f72ee0fe17d026dfff2022", #element="B8DDD01F44A3183BFC28B8C624_element_21")>

如上述代码中，使用find_element 方法，并指定查找方式和查找的内容，即可返回 Selenium 的节点对象。需要注意的是，在 Selenium 以前的旧版本中会有 find_element_by_id 等方法，这些在新版本都已经被弃用，新版本中只有find_element 一个方法用来返回一个节点标签。

查找多个节点

查找多个节点和一个节点的方法一样，新版本 Selenium 中统一了查找的方法名使用 find_elements 来查找多个符合条件的节点。结果会被封装到一个包含WebElement 属性的列表中。

els = browser.find_elements(By.CLASS_NAME, "title") #[<WebElement>.....]

节点交互

Selenium 除了可以获取页面节点数据外，还可以模拟浏览器执行一些动作，比如输入数据，清空文字，点击按钮等。

from selenium import webdriver from selenium.webdriver import Keys from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome() browser.get("https://www.baidu.com") ipt = browser.find_element(by="id", value="kw") ipt.send_keys("python") ipt.send_keys(Keys.ENTER) wait = WebDriverWait(browser, 10) wait.until(EC.presence_of_element_located((By.ID, "content_left"))) print(browser.current_url) print(browser.title) # https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python&fenlei=256&rsv_pq=0xb4aec00d00057ed1&rsv_t=46e0VkiflVRYEgv5gB6emF74ekrhKovPPAVF1KVxwU6hiwWQjp2N4DNj6wzk&rqlang=en&rsv_enter=1&rsv_dl=tb&rsv_sug3=6&rsv_sug2=0&rsv_btype=i&inputT=142&rsv_sug4=142 # python_百度搜索

如上述代码，使用 Selenium 完成自动在百度查找 Python 关键字。首先使用 find_element 方法找到输入框， 再使用 send_keys 设置输入框关键字，并执行回车动作，使用WebDriverWait 等待查询结果完成后结束程序。

获取节点信息

在上边获取到节点后，每个节点信息都被封装到了 WebElement 类中， 因此可以通过此类提供的方法和属性来获取到节点相关信息，如属性，文本等内容。

from selenium import webdriver from selenium.webdriver.common.by import By browser = webdriver.Chrome() browser.get("https://movie.douban.com/top250") els = browser.find_elements(By.CLASS_NAME, "title") # 获取节点文本 print(els.text) # 获取节点class属性值 print(els.get_attribute("class")) # 获取id值 print(els.id) # 获取位置信息 print(els.location) # 获取标签名 print(els.tag_name) # 获取组件大小 print(els.size) # 肖申克的救赎 # title # 27BB114F62D2F51C406DA6460B_element_15 # {'x': 164, 'y': 296} # span # {'height': 16, 'width': 84}

执行 JavaScript

Selenium 虽然支持众多的浏览器操作，但是某些情况仍然没有提供，这时，我们就可以使用 Selenium 执行 JavaScript 来完成更多的操作。

from selenium import webdriver browser = webdriver.Chrome() # 使用JavaScript将页面拉倒最下方 browser.execute_script("window.scrollTo(0, document.body.scrollHeight)")

如上述代码中使用execute_script 方法执行 JavaScript 代码，使页面被滑动到最下方。

使用JavaScript拉倒页面最下方

浏览器操作

Selenium 提供了浏览器实例的操作方法，以此来提供更多的可操作空间。

浏览器响应等待

在网络访问中，请求并不是立马就会有响应，因此在访问网页后就需要等待页面响应完成后，才可以继续获取页面节点的数据。这里边 Selenium 在查找 DOM 时如果没有找到对应节点，就会继续等待，当超时后就会抛出异常，但是程序默认时间为 0，因此我们需要显示的修改一下等待时长。

browser.implicitly_wait(10)

如上使用implicitly_wait 方法设置了固定的时长 10 秒。

上边设置方式存在一个缺点，就是设置时间是一个固定值，这个时间就会很不容易掌握。幸好，还有一种方式来设置。代码如下：

from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(browser, 10) wait.until(EC.presence_of_element_located((By.ID, "content_left")))

在上边代码中，我们初始化了一个WebDriverWait 对象， 并指定了最长等待时间，然后调用 until 方法，参数是一个条件
presence_of_element_located，表示当节点中出现指定的内容时条件成立。

网页前进和后退

Selenium 还可以模拟浏览器执行前进和后退的功能，这里需要调用 back 和 forward 两个方法。

browser.get("https://www.baidu.com") browser.get("https://youdao.com/") browser.get("https://cn.bing.com") # 网页后退 browser.back() time.sleep(2) # 网页前进 browser.forward() time.sleep(2)

需要注意的是，前进和后退只能执行一步，如果有多步，则需要多次调用。

前进和后退

Cookies 处理

Cookies 作为网站的重要内容，Selenium 也提供了完全的支持，包括对 Cookies 的获取,新增,删除等操作

from selenium import webdriver browser = webdriver.Chrome() browser.get("https://www.baidu.com") # 获取所有的cookies print(browser.get_cookies()) # 设置指定的cookies内容 browser.add_cookie({"name": "name", "value": "value"}) # 删除所有的cookies browser.delete_all_cookies() # [ # {'domain': '.baidu.com', # 'expiry': , # 'httpOnly': False, # 'name': 'ZFY', # 'path': '/', # 'sameSite': 'None', # 'secure': True, # 'value': 'mnlDLVQ3mvzbCJmjtPbxdVNxuFCaIaL6DLYdZZbtkR0:C'}, # {'domain': '.baidu.com', # 'expiry': , # 'httpOnly': False, # 'name': 'BA_HECTOR', # 'path': '/', # 'sameSite': 'Lax', # 'secure': False, # 'value': '2t81012h20ah8565ag208l84gsu4351ir1eou1t'}, # ..... # ]

浏览器标签切换

如果打开了多个浏览器选项卡，Selenium 也可以操作不同的选项卡。

import time from selenium import webdriver # 获取浏览器实例 browser = webdriver.Chrome() # 访问百度 browser.get("https://www.baidu.com") # 新打开一个标签页 browser.execute_script("window.open()") time.sleep(2) # 切换标签页 browser.switch_to.window(browser.window_handles[1]) # 打开有道搜索 browser.get("https://youdao.com/") time.sleep(2) # 重新切换回百度标签页 browser.switch_to.window(browser.window_handles[0])

切换标签

#python#