在第一章中，我们了解了Web抓取的全部内容。在本章中，让我们看看如何使用Python实施Web抓取。

为什么要使用Python进行网页爬取?

Python是用于实施Web抓取的流行工具。 Python编程语言还用于与网络安全，渗透测试以及数字取证应用程序相关的其他有用项目。使用Python的基本编程，无需使用任何其他第三方工具即可执行Web抓取。

Python编程语言正变得越来越流行，使Python非常适合Web抓取项目的原因如下-

语法简单

与其他编程语言相比， Python具有最简单的结构。 Python的此功能使测试更加容易，并且开发人员可以将更多精力放在编程上。

内置模块

使用Python进行网络抓取的另一个原因是它拥有内置的以及有用的外部库。通过使用Python作为编程基础，我们可以执行许多与Web抓取相关的实现。

开源编程语言

Python是一种开源编程语言，因此得到了社区的大力支持。

应用范围广

Python可用于各种编程任务，从小型Shell脚本到企业Web应用程序。

安装Python

Python发行版可用于Windows，MAC和Unix / Linux等平台。我们只需要下载适用于我们平台的二进制代码即可安装Python。但是，如果无法使用我们平台的二进制代码，则必须使用C编译器，以便可以手动编译源代码。

我们可以在以下各种平台上安装Python

在Unix和Linux上安装Python

您需要按照下面给出的步骤在Unix / Linux机器上安装Python

步骤1-转到链接https：// www。 Python.org / downloads /

步骤2-在上面的链接上下载可用于Unix / Linux的压缩源代码。

步骤3-将文件提取到计算机上。

步骤4-使用以下命令完成安装-

run ./configure script
make
make install

您可以在标准位置/ usr / local / bin中找到已安装的Python ，并在/ usr / local / lib / pythonXX中找到其库，其中XX是Python的版本。

在Windows上安装Python

您需要按照以下步骤在Windows计算机上安装Python

步骤1-转到链接https：// www。 Python.org / downloads /

步骤2-下载Windows安装程序python-XYZ.msi文件，其中XYZ是我们需要安装的版本。

步骤3-现在，将安装程序文件保存到本地计算机并运行MSI文件。

步骤4-最后，运行下载的文件以启动Python安装向导。

在Macintosh上安装Python

我们必须使用自制软件在Mac OS X的家酿安装Python 3易于安装和一个伟大的包安装。

也可以使用以下命令安装Homebrew-

$ ruby -e "$(curl -fsSL
https://raw.githubusercontent.com/Homebrew/install/master/install)"

为了更新包管理器，我们可以使用以下命令-

$ brew update

借助以下命令，我们可以在我们的MAC机器上安装Python3-

$ brew install python3

设置路径

您可以按照以下说明在各种环境中设置路径-

在Unix / Linux上设置路径

使用以下命令来使用各种命令shell设置路径-

对于csh shell

setenv PATH "$PATH:/usr/local/bin/python".

对于bash shell(Linux)

ATH="$PATH:/usr/local/bin/python".

对于sh或ksh shell

PATH="$PATH:/usr/local/bin/python".

在Windows上设置路径

要在Windows上设置路径，我们可以在命令提示符处使用路径％path％; C：\ Python ，然后按Enter。

运行Python

我们可以使用以下三种方式之一启动Python

互动翻译

可以使用诸如UNIX和DOS之类的提供命令行解释器或shell的操作系统来启动Python。

我们可以开始在交互式解释器中进行编码，如下所示：

步骤1-在命令行中输入Python 。

步骤2-然后，我们可以立即开始在交互式解释器中进行编码。

$python # Unix/Linux
or
python% # Unix/Linux
or
C:> python # Windows/DOS

命令行脚本

我们可以在命令行中通过调用解释器来执行Python脚本。可以理解如下-

$python script.py # Unix/Linux
or
python% script.py # Unix/Linux
or
C: >python script.py # Windows/DOS

集成开发环境

我们还可以从GUI环境，如果系统具有正支持Python的GUI应用程序运行Python。下面给出了在各种平台上支持Python的一些IDE-

UNIX的IDE -UNIX(对于Python)具有IDLE IDE。

Windows的IDE -Windows具有PythonWin IDE，它也具有GUI。

Macintosh的IDE -Macintosh具有IDLE IDE，可以从主网站下载MacBinary或BinHex文件。