如何在 Python 中创建代理--2024 年的最佳方法

Before diving into the details of proxies, we must know what proxies are and how to create a proxy in python. Proxies are a gateway or a tunnel between the user and the Internet. They act as a firewall providing shared network connections and cache data to speed up common requests. A good proxy server

在详细了解代理之前，我们必须先了解什么是代理以及如何在 python 中创建代理。代理是用户与互联网之间的网关或隧道。它们就像一道防火墙，提供共享网络连接，并缓存数据以加快普通请求的处理速度。一个好的代理服务器能保护内部网络和用户不受互联网上不良信息的影响，从而提供安全、隐私等更多服务，具体取决于用户的需求。

让我们通过一个例子来了解代理服务器是如何在服务器和客户端计算机之间起到安全保护作用的。

将 "X "视为客户端计算机，"Y "视为服务器计算机，"Z "视为代理服务器。每当 "X "想直接向 "Y "提出请求或发送信息时，"Y "都能迅速识别出 "X "是请求的发送者，并收集有关 "X "的信息。但如果 "X "首先连接到代理服务器 "Z "呢？在这种情况下，如果 "X "通过 "Z "向 "Y "请求或发送信息，那么 "Y "将无法识别 "X "就是请求的发送者。

因此，它只能收集有关 "Z "的信息。这样，"X "就可以通过代理服务器 "Z "的帮助来隐藏和保护自己的个人信息，使其不被 "Y "发现。这就是代理服务器如何像隐私保护罩一样隐藏客户信息的。

目录

• 代理的必要性
• 如何用 Python 创建代理，步骤简单：
• 导入图书馆：
• 获取请求：
• 删除 URL 斜线
• 发送标头
• 使用 TCP 服务器
• 代理服务器的类型
• 匿名代理：
  • 使用匿名代理的优势
• 使用匿名代理的优势
• 轮流代理：
• 代理的用途：
• 完成在线任务的最佳代理：
• 常见问题：
• 最后的想法

代理的必要性

在当今世界，公司必须收集大量数据以促进其事业的发展。当公司发现自己无法获取关键信息时，尤其是在需要快速获取信息时，就会感到非常沮丧。原因在于，有些网站限制刮擦，因为我们的实际 IP 地址来自被禁止的地理区域。

公司服务器无法抓取网站的另一个原因可能是他们试图抓取受限数据或使用违禁设备。

鉴于上述情况，我们显然需要一种方法来隐藏自己的 IP 地址，以便根据自己的业务需求搜索任意网站。这就是代理的作用所在。它是一个第三方服务器，使用伪 IP 地址将我们的计算机连接到互联网。

如何用 Python 创建代理，步骤简单：

要在 Python 中创建代理服务器，需要遵循以下步骤。

导入图书馆：

您必须导入以下库。

• 简单 WebSocket 服务器
• 一个 simple_http_server
• 吾尔里叶

从simple_websocket_server导入WebSocketServer, WebSocket
导入simple_http_server
导入urllib
端口=9097

SimpleWebSocketServer和 simple_http_server 会侦听传入的请求，而 urllib 模块会获取目标网页。

我们还可以初始化端口，如下图所示。

获取请求：

为了创建自己的代理，我们继承了 SimpleHTTPRequestHandler。我们定义了一个 do_GET 函数，所有 GET 请求都将调用该函数。 

class MyProxy(simple_http_server.SimpleHTTPRequestHandler)：
  def do_GET(自):
   	url=self.path[1:].
   	self.send_response(200)
   	self.end_headers()
    self.copyfile(urllib.urlopen(url),self.wfile)

删除 URL 斜线

我们在上述代码中传递的 URL 在浏览器中会在开头带有斜线 (/)。我们可以使用下面的代码移除斜线。

url=self.path[1:]

发送标头

我们必须发送头信息，因为浏览器需要它们来报告获取成功，HTTP 状态代码为 200。

self.send_response(200)
self.end_headers()
self.copyfile(urllib.urlopen(url),self.wfile)

我们在最后一行使用 urllib 库获取 URL。我们使用copyfile函数将 URL 写回浏览器。 

使用 TCP 服务器

我们将使用 ForkingTCPServer 模式，并将其传递给上述类进行中断处理。

httpd = WebSocketServer.ForkingTCPServer(('', PORT), MyProxy)
httpd.serve_forever()

您可以将文件保存为 ProxyServer.py，然后运行它。然后就可以在浏览器中调用它了。

您的整个代码将如下所示。

从simple_websocket_server导入WebSocketServer, WebSocket
导入simple_http_server
导入urllib
端口 =9097
MyProxy(simple_http_server.SimpleHTTPRequestHandler)：
	def do_GET(self)：
	   url=self.path[1:]: self.send_response(200)
	   self.send_response(200)
	   self.end_headers()
    	self.copyfile(urllib.urlopen(url), self.wfile)
httpd = WebSocketServer.ForkingTCPServer(('', PORT), MyProxy)
print("Now serving at"str(PORT))
httpd.serve_forever()

代理服务器的类型

有各种代理服务器，但并非所有代理服务器的工作方式都相同。您需要了解特定代理服务器的功能。除数据中心和住宅代理服务器外，还有一些代理服务器：

匿名代理：

每当我们在浏览器上输入一个地址，我们的设备就会向目标网站的网络主机发送一个请求。网络主机收到请求后，会将目标网站的网页发回给我们的设备。

网络主机只有在知道我们的互联网协议（即 IP 地址）的情况下，才会将页面发回给我们。这样，目标网站就知道了我们浏览的大致位置，因为我们在请求浏览网站时发送了自己的 IP 地址。

最有可能的是，虚拟主机可以通过我们的 IP 地址访问我们的 ISP（互联网服务提供商）账户名。

使用匿名代理的优势

使用匿名代理服务器有很多好处。我们必须了解它的好处，才能明白它如何能在我们的组织或任何业务中帮助我们。以下是使用匿名代理服务器的一些优点：

• 匿名代理服务器最明显的好处是给我们提供了一些隐私。从本质上讲，它用自己的 IP 地址代替了我们的 IP 地址，让我们可以绕过地理封锁。例如，一个视频流网站向特定国家的观众提供访问权限，并阻止来自其他国家的请求。我们可以通过连接任何国家的代理服务器来绕过这一限制，访问视频流网站。 
• 在某些大学或办公室，公共 WiFi 可能会阻止我们浏览某些网站。我们可以使用代理服务器来绕过这种浏览限制。
• 匿名代理服务器可帮助客户保护其重要信息免遭黑客攻击。
• 代理服务器通常用于访问数据，由于其良好的缓存系统，可加快浏览速度。

轮流代理：

我们可以将代理轮换定义为一种功能，即我们每发送一个新请求，代理就会更改我们的 IP 地址。

当我们访问一个网站时，我们会发送一个请求，向目标服务器显示大量数据，包括我们的 IP 地址。例如，当我们使用 scraper（用于生成线索）收集数据时，我们会发送很多这样的请求。因此，当大多数请求来自同一个 IP 时，目标服务器就会产生怀疑并禁止它。 

因此，必须有一种解决方案，在我们每次发送请求时都能更改我们的 IP 地址。这个解决方案就是旋转代理。因此，为了避免在网络搜刮中为轮换 IP 而获取搜刮器所带来的不必要的麻烦，我们可以获取轮换代理，并让我们的提供商负责轮换。

代理的用途：

代理的一些重要用途如下：

• 网络抓取

电子商务网站采用反搜索工具来监控 IP 地址，以检测那些进行多次网络请求的 IP 地址。

这就需要使用代理服务器。代理服务器可以让用户从不同的 IP 地址发出多个请求。

每个网络请求都会被分配一个不同的 IP 地址。这样，网络服务器就会上当受骗，以为所有网络请求都来自其他设备。

• 广告验证

广告验证允许广告商检查其广告是否显示在正确的网站上，是否被正确的受众看到。

不断变化的 IP 地址可以访问许多不同的网站，因此可以在不屏蔽 IP 的情况下验证广告。

• 访问受地理限制的网站和数据

同样的内容在特定地点访问时可能会出现不同或不可用的情况。代理可以让我们不受地理位置的限制，访问必要的数据。 

推荐阅读

1. 2023 年八大最佳 Python 网络抓取工具
2. 如何用 Python 制作代理检查器

完成在线任务的最佳代理：

ProxyScrape是网上最受欢迎、最可靠的代理服务提供商之一。三种代理服务包括专用数据中心代理服务器、住宅代理服务器和高级代理服务器。那么，对于如何在 python 中创建代理的最佳替代解决方案，什么才是最可行的？在回答这个问题之前，最好先看看每个代理服务器的特点。

专用数据中心代理最适用于高速在线任务，如从不同服务器流式传输大量数据（就大小而言）以进行分析。这也是企业选择专用代理在短时间内传输大量数据的主要原因之一。

专用数据中心代理具有多种功能，如无限带宽和并发连接、便于通信的专用 HTTP 代理以及更安全的 IP 验证。专用数据中心的正常运行时间为 99.9%，在任何会话期间都能正常工作，您大可放心。最后但同样重要的是，ProxyScrape 提供优质的客户服务，将在 24-48 个工作小时内帮助您解决问题。 

其次是 住宅代理。 住宅代理是每个普通消费者的首选代理。主要原因是住宅代理的 IP 地址与 ISP 提供的 IP 地址相似。这意味着从目标服务器获得访问其数据的许可会比平常更容易。 

ProxyScrape住宅代理的另一个特点是轮换功能。旋转代理可以帮助您避免账户被永久封禁，因为住宅代理会动态更改您的 IP 地址，使目标服务器难以检查您是否在使用代理。 

除此之外，住宅代理的其他功能还包括：无限带宽、并发连接、专用 HTTP/s 代理、随时会话代理（因为代理池中有 700 多万个代理）、用户名和密码验证以提高安全性，最后但并非最不重要的一点是能够更改国家服务器。您可以通过在用户名验证中附加国家代码来选择所需的服务器。 

最后一个是 高级代理。高级代理与专用数据中心代理相同。功能保持不变。主要区别在于可访问性。在高级代理中，代理列表（包含代理的列表）向ProxyScrape网络上的每个用户开放。这就是为什么高级代理的成本低于专用数据中心代理的原因。

那么，对于 如何在 python 中创建代理的最佳替代解决方案是什么呢？答案是 "住宅代理 "和"专用数据中心代理"，原因很简单。如上所述，住宅代理是一种旋转代理，这意味着您的 IP 地址会在一段时间内动态变化，这有助于在较短时间内发送大量请求而不被封 IP，从而欺骗服务器。 

接下来，最好是根据国家更改代理服务器。您只需在 IP 验证或用户名和密码验证的末尾添加国家 ISO_CODE。

数据中心代理速度极快，如果您是狂热的电影迷，那么数据中心代理就是您流畅观看高质量视频的最佳伴侣。

常见问题：

最后的想法

我们讨论过，代理服务器是客户端和服务器机器之间的中继器。我们可以用它们来监控和过滤互联网流量。代理服务器还可以过滤掉不需要的内容，让企业对其网络有更多的控制权。我们可以使用代理服务器搜索网页，访问受地理限制的数据。除了匿名代理和旋转代理，住宅代理和数据中心代理还能让我们访问被屏蔽的内容和网页。它们被广泛使用，因为它们是许多应用的理想选择，并能为我们提供足够的隐私保护。