📅 最后修改于: 2020-11-07 07:59:59 🧑 作者: Mango
在本章中，让我们学习可用于Web抓取的各种Python模块。
Virtualenv是用于创建隔离的Python环境的工具。在virtualenv的帮助下，我们可以创建一个文件夹，其中包含使用Python项目所需的软件包的所有必需可执行文件。它还允许我们添加和修改Python模块，而无需访问全局安装。
您可以使用以下命令安装virtualenv-
(base) D:\ProgramData>pip install virtualenv
Collecting virtualenv
Downloading
https://files.pythonhosted.org/packages/b6/30/96a02b2287098b23b875bc8c2f58071c3
5d2efe84f747b64d523721dc2b5/virtualenv-16.0.0-py2.py3-none-any.whl
(1.9MB)
100% |¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦| 1.9MB 86kB/s
Installing collected packages: virtualenv
Successfully installed virtualenv-16.0.0
现在，我们需要在以下命令的帮助下创建一个表示项目的目录-
(base) D:\ProgramData>mkdir webscrap
现在，在以下命令的帮助下进入该目录-
(base) D:\ProgramData>cd webscrap
现在，我们需要初始化我们选择的虚拟环境文件夹，如下所示：
(base) D:\ProgramData\webscrap>virtualenv websc
Using base prefix 'd:\\programdata'
New python executable in D:\ProgramData\webscrap\websc\Scripts\python.exe
Installing setuptools, pip, wheel...done.
现在，使用下面给出的命令激活虚拟环境。成功激活后，您将在括号的左侧看到其名称。
(base) D:\ProgramData\webscrap>websc\scripts\activate
我们可以在此环境中安装任何模块，如下所示：
(websc) (base) D:\ProgramData\webscrap>pip install requests
Collecting requests
Downloading
https://files.pythonhosted.org/packages/65/47/7e02164a2a3db50ed6d8a6ab1d6d60b69
c4c3fdf57a284257925dfc12bda/requests-2.19.1-py2.py3-none-any.whl (9
1kB)
100% |¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦| 92kB 148kB/s
Collecting chardet<3.1.0,>=3.0.2 (from requests)
Downloading
https://files.pythonhosted.org/packages/bc/a9/01ffebfb562e4274b6487b4bb1ddec7ca
55ec7510b22e4c51f14098443b8/chardet-3.0.4-py2.py3-none-any.whl (133
kB)
100% |¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦| 143kB 369kB/s
Collecting certifi>=2017.4.17 (from requests)
Downloading
https://files.pythonhosted.org/packages/df/f7/04fee6ac349e915b82171f8e23cee6364
4d83663b34c539f7a09aed18f9e/certifi-2018.8.24-py2.py3-none-any.whl
(147kB)
100% |¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦| 153kB 527kB/s
Collecting urllib3<1.24,>=1.21.1 (from requests)
Downloading
https://files.pythonhosted.org/packages/bd/c9/6fdd990019071a4a32a5e7cb78a1d92c5
3851ef4f56f62a3486e6a7d8ffb/urllib3-1.23-py2.py3-none-any.whl (133k
B)
100% |¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦| 143kB 517kB/s
Collecting idna<2.8,>=2.5 (from requests)
Downloading
https://files.pythonhosted.org/packages/4b/2a/0276479a4b3caeb8a8c1af2f8e4355746
a97fab05a372e4a2c6a6b876165/idna-2.7-py2.py3-none-any.whl (58kB)
100% |¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦| 61kB 339kB/s
Installing collected packages: chardet, certifi, urllib3, idna, requests
Successfully installed certifi-2018.8.24 chardet-3.0.4 idna-2.7 requests-2.19.1
urllib3-1.23
为了停用虚拟环境，我们可以使用以下命令-
(websc) (base) D:\ProgramData\webscrap>deactivate
(base) D:\ProgramData\webscrap>
您可以看到(websc)已被停用。
Web抓取是构建可自动从Web提取，解析，下载和组织有用信息的代理的过程。换句话说，Web抓取软件将代替自动从网站上保存数据，而是根据我们的要求自动从多个网站上加载和提取数据。
在本节中，我们将讨论有用的用于Web抓取的Python库。
这是一个简单的Python网络抓取库。它是用于访问网页的高效HTTP库。借助Requests ，我们可以获得网页的原始HTML，然后可以对其进行解析以获取数据。在使用请求之前，让我们了解其安装。
我们可以在虚拟环境或全局安装中安装它。借助pip命令，我们可以轻松地如下安装它-
(base) D:\ProgramData> pip install requests
Collecting requests
Using cached
https://files.pythonhosted.org/packages/65/47/7e02164a2a3db50ed6d8a6ab1d6d60b69
c4c3fdf57a284257925dfc12bda/requests-2.19.1-py2.py3-none-any.whl
Requirement already satisfied: idna<2.8,>=2.5 in d:\programdata\lib\sitepackages
(from requests) (2.6)
Requirement already satisfied: urllib3<1.24,>=1.21.1 in
d:\programdata\lib\site-packages (from requests) (1.22)
Requirement already satisfied: certifi>=2017.4.17 in d:\programdata\lib\sitepackages
(from requests) (2018.1.18)
Requirement already satisfied: chardet<3.1.0,>=3.0.2 in
d:\programdata\lib\site-packages (from requests) (3.0.4)
Installing collected packages: requests
Successfully installed requests-2.19.1
在此示例中，我们正在对网页进行GET HTTP请求。为此，我们需要首先导入请求库，如下所示：
In [1]: import requests
在下面的代码行中，我们使用请求通过发出GET请求来对URL进行GET HTTP请求： https ://authoraditiagarwal.com/。
In [2]: r = requests.get('https://authoraditiagarwal.com/')
现在我们可以使用.text属性来检索内容，如下所示：
In [5]: r.text[:200]
可以看到，在下面的输出中，我们得到了前200个字符。
Out[5]: '\n\n\n\t\n\t这是另一个Python库，可用于从类似于请求库的URL检索数据。您可以在https://urllib3.readthedocs.io/en/latest/的技术文档中了解更多信息。
使用pip命令，我们可以在虚拟环境或全局安装中安装urllib3 。
(base) D:\ProgramData>pip install urllib3
Collecting urllib3
Using cached
https://files.pythonhosted.org/packages/bd/c9/6fdd990019071a4a32a5e7cb78a1d92c5
3851ef4f56f62a3486e6a7d8ffb/urllib3-1.23-py2.py3-none-any.whl
Installing collected packages: urllib3
Successfully installed urllib3-1.23
在以下示例中，我们将使用Urllib3和BeautifulSoup抓取网页。我们在请求库的位置使用Urllib3来从网页获取原始数据(HTML)。然后，我们使用BeautifulSoup解析该HTML数据。
import urllib3
from bs4 import BeautifulSoup
http = urllib3.PoolManager()
r = http.request('GET', 'https://authoraditiagarwal.com')
soup = BeautifulSoup(r.data, 'lxml')
print (soup.title)
print (soup.title.text)
这是运行此代码时将观察到的输出-
Learn and Grow with Aditi Agarwal
Learn and Grow with Aditi Agarwal
它是跨不同浏览器和平台的Web应用程序的开源自动化测试套件。它不是单个工具，而是一套软件。我们具有用于Python，Java，C＃，Ruby和JavaScript的硒绑定。在这里，我们将通过使用Selenium及其Python绑定来执行Web抓取。您可以在链接Selenium上了解有关Java Selenium的更多信息。
Selenium Python绑定为访问Selenium WebDriver(如Firefox，IE，Chrome，Remote等)提供了便捷的API。当前支持的Python版本为2.7、3.5及更高版本。
使用pip命令，我们可以在虚拟环境或全局安装中安装urllib3 。
pip install selenium
由于硒需要驱动程序才能与所选浏览器进行交互，因此我们需要下载它。下表显示了不同的浏览器及其下载链接。
|
Chrome |
|
|
Edge |
|
|
Firefox |
|
|
Safari |
此示例显示了使用硒刮网。它也可以用于称为硒测试的测试。
为指定版本的浏览器下载特定的驱动程序后，我们需要使用Python进行编程。
首先，需要从硒中导入webdriver ，如下所示：
from selenium import webdriver
现在，提供我们根据要求下载的Web驱动程序的路径-
path = r'C:\\Users\\gaurav\\Desktop\\Chromedriver'
browser = webdriver.Chrome(executable_path = path)
现在，提供我们要在该网络浏览器中打开的URL，该URL现在由我们的Python脚本控制。
browser.get('https://authoraditiagarwal.com/leadershipmanagement')
我们还可以通过提供lxml中提供的xpath来抓取特定元素。
browser.find_element_by_xpath('/html/body').click()
您可以检查受Python脚本控制的浏览器的输出。
Scrapy是一个用Python编写的快速，开放源代码的Web爬网框架，用于在基于XPath的选择器的帮助下从网页中提取数据。 Scrapy于2008年6月26日首次发布，获得了BSD的许可，并在2015年6月发布了里程碑1.0。它为我们提供了从网站提取，处理和构建数据所需的所有工具。
使用pip命令，我们可以在虚拟环境或全局安装中安装urllib3 。
pip install scrapy
有关Scrapy的更多详细信息，您可以转到链接Scrapy