用于网络抓取的 Scrapy 与 Beautiful Soup

The most famous Python libraries for web scraping are Scrapy and Beautiful Soup, but each library comes with its pros and cons. Nothing is perfect in this world. Sometimes one library surpasses the other and vice versa. In this article, we will analyze both libraries with different aspects so the readers may have a better

Scrapy 和 Beautiful Soup 是最有名的 Python 网络搜刮库，但每个库都有其优缺点。世界上没有十全十美的东西。有时一个库会超越另一个库，反之亦然。在本文中，我们将从不同方面对这两个库进行分析，以便读者更好地了解何时使用何种库。我们将从核心模块的实现入手，然后再看看两个库的工作机制。最后，我们将深入探讨两种工具的不同之处，从而得出结论。首先，让我们进一步了解 Scrapy、

废料

Scrapy 是一个开源协作框架，用于从我们选择的网站中提取数据。由于其高速性能，它是目前最强大的 Python 库之一。使用 Scrapy 的主要优势之一是，它在向用户发送请求时使用非阻塞机制，因为它是构建在扭曲的异步框架之上的。 

异步请求比同步请求更有优势，因为它们遵循服务器的非阻塞 I/O 调用。

Scrapy 的一些显著特点是

• 内置支持允许 Scrapy 使用 XPath 表达式和 CSS 表达式从 HTML 源中提取数据。
• 它支持多平台，可移植性强（用 Python 编写，可在 Mac、Windows、Linux 和 BSD 上运行）。
• 该库易于扩展。
• 它提取网站的速度比其他工具快 20 倍，是最强大的搜索库。
• 它非常轻便，因此内存和 CPU 占用较少。
• 它还可以进一步优化，使应用程序更强大、更灵活，并具有大量令人惊叹的功能。 
• 文档不是很好，也不是很适合初学者，但总体而言，社区为开发人员提供了很好的支持。  

美丽汤

正如它的名字一样，由于其核心功能，它是一款精美的网页刮擦工具。它能根据程序员的选择，快速从网页中提取数据。该工具在从 HTML 和 XML 文件中提取数据时非常方便。但是，Beautiful Soup 的问题在于它不能独立工作。它需要依赖其他模块来完成工作。

Beautiful Soup 的部分依赖项包括

• 它需要一个库来向网站提出请求，因为它无法向特定服务器提出请求。为了解决这个问题，它依赖于两个最流行的库，即 Requests 或 urllib2。这些库可以向服务器发出请求。
• 它还需要外部解析器来解析 HTML 和 XML 形式的下载数据。最有名的解析器有 html.parser、HTML5lib 和 lxml 的 HTML 解析器。

使用美丽汤的好处有 

• 它易于学习和掌握。为了更好地理解如何使用它从网站中提取数据，让我们来看看下面的例子

图 1：使用美丽汤的示例

• 从上面的代码中可以看出，我们使用 html.parser 来解析 html_doc 的内容。它的易用性和简洁性是开发人员使用 Beautiful Soup 的最主要原因。
• 它有非常全面的文档，更易于学习和实施。
• 庞大的社区支持有助于快速、轻松地找出并解决问题。

选择最佳图书馆：美汤还是废料？

每个资料库都有其优点和缺点，因此在选择完成工作所需的完美资料库时会涉及各种关键因素。本节将讨论为我们的项目选择最佳图书馆所需的选择标准。其中起重要作用的一些关键因素包括

可扩展性

Scrapy：它有一个定义明确的架构来定制中间件，因此可以轻松添加自定义功能。它使我们的项目更加强大和灵活。

在使用 Scrapy 的情况下，从一个项目迁移到另一个项目变得非常容易。因此，Scrapy 在处理大型项目时非常方便。

如果项目需要代理、数据管道等，Scrapy 将是最佳选择。

美丽的汤对于小型和不太复杂的项目来说，它是相当不错的选择，因为它能保持代码的简单和灵活。

它主要推荐给初学者使用，以便快速学习并执行网络搜索操作。

性能

Scrapy：通过使用异步系统调用，它可以快速完成任务。在所有其他库中，它的性能非常出色。

美丽汤Beautiful Soup 的性能有点慢，但它可以利用多线程概念来克服这个问题。不过，程序员需要了解多线程的概念，才能有效地实施多线程。这可能是导致 Beautiful Soup 缩小的原因。 

生态系统

Scrapy：由于其良好的生态系统，我们可以使用代理和 VPN自动执行任务。它有利于处理复杂的项目。 

如果您正在寻找出色的代理服务，请不要忘记查看 ProxyScrape住宅代理和高级代理。您的网络抓取项目需要好的代理服务器吗？不用再找了；请访问 ProxyScrape了解更多详情。 

美丽的汤由于依赖关系较多，在复杂的项目中可能无法使用该库。 

以上是正确选择 Scrapy 和 Beautiful Soup 的三个常见因素。

关于 "美丽汤 "与 "Scrapy "的结论

在本文中，我们详细讨论了 Scrapy 和 Beautiful Soup。我们已经详细了解了最常用的网络刮库的几乎所有内容。下面我们来总结一下到目前为止我们所讨论的内容、

如果要处理复杂的刮擦操作，需要高速度和低功耗，Scrapy 将是最佳选择。

如果你是编程新手，并希望使用最好的搜索项目，Beautiful Soup 将是你的最佳选择。它简单易学，允许你处理达到一定复杂程度的项目。

这两个 Python 网络抓取库用于完成不同的任务。Beautiful Soup 最适合解析 HTML 和提取数据，而 Scrapy 则是下载 HTML、处理数据并将其保存为所需格式的最佳工具。

希望这篇文章能帮助你在 Scrapy 和 Beautiful Soup 库中选择最适合你的网络搜刮项目的库。