Python爬虫不仅仅可以爬取静态网页,也可以爬取抓取动态网页。但是新版的Selenium不支持PhantomJS,无法进行动态网页的爬取,因此要放弃PhantomJS,直接用headless ChromeDriver。本文介绍安装ChromeDriver的过程。
1、为什么要安装ChromeDriver?
使用Python的第三方库selenium需要对应的浏览器驱动器ChromeDriver。
2、相关链接
官方网站:https://sites.google.com/a/chromium.org/ch
3、MAC安装
brew install chromedriver
如果安装失败,使用下面方法
brew cask install chromedriver
4、验证安装
还在CMD 命令行中,输入以下内容
C:\Users\inwsy>python Python 3.7.4 (tags/v3.7.4:e09359112e, Jul 8 2019, 20:34:20) [MSC v.1916 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. > from selenium import webdriver > browser = webdriver.Chrome()
如果打开一个空白的 Chrome 页面说明安装成功。