网络搜索的道德规范
网络搜索并不是一个新概念，因为整个互联网都是基于网络搜索。例如，当你在 Facebook 上分享一个 Youtube 视频链接时，它的数据就会被抓取，这样人们就能在你的帖子中看到视频的缩略图。因此，有无穷无尽的方法可以利用数据挖掘为每个人谋福利。但是
目录
网络搜索并不是一个新概念，因为整个互联网都是基于网络搜索。例如，当你在 Facebook 上分享一个 Youtube 视频链接时，它的数据就会被抓取，这样人们就能在你的帖子中看到视频的缩略图。因此，有无穷无尽的方法可以利用数据挖掘为每个人谋福利。但是，从网络上获取数据也涉及到一些道德问题。
假设你申请了一份医疗保险计划，并欣然将自己的个人信息提供给医疗服务提供商，以换取他们提供的服务。但是，如果某个陌生人对你的数据施展 "网络搜刮 "魔法，并将其用于个人目的呢？事情可能会变得越来越不恰当，对吗？这就需要我们践行合乎道德的网络搜索。
在本文中，我们将讨论网络刮擦行为准则以及法律和道德方面的考虑因素。
网络抓取行为准则
要进行合法的网络搜刮，您需要遵守以下简单规则。
不要破坏互联网 - 您需要知道，并非所有网站都能承受每秒数千次的请求。有些网站允许这样做，但如果你使用同一 IP 地址发送多个请求，其他网站可能会阻止你。例如，如果你编写了一个跟踪超链接的刮擦工具，你应该先在一个较小的数据集上进行测试，确保它能完成它应该做的事情。此外，您还需要调整刮擦程序的设置，允许请求之间有一定的延迟。
查看 robots.txt 文件 - 网站使用 robots.txt 文件让机器人知道网站是否可以被抓取。从网上提取数据时，您需要认真了解并尊重 robots.txt 文件，以避免法律后果。
分享你能分享的东西--如果你获得了在公共领域刮擦数据的许可并刮擦了这些数据，你就可以将其公布于众（例如在 datahub.io），供其他人重复使用。如果您编写了网络搜刮程序，您可以共享其代码（例如，在 Github 上），以便他人从中受益。
不要非法分享下载的内容--出于个人目的搜刮数据有时是可以的，即使这些信息是受版权保护的。但是，分享无权分享的数据则属于非法行为。
你可以礼貌地询问--如果你的项目需要某个组织的数据，你可以直接询问他们是否可以提供你想要的数据。或者，您也可以使用该组织网站上的主要信息，省去创建网络搜刮器的麻烦。
网络抓取的道德考虑
在从网络搜刮数据时，您需要牢记以下道德规范。
不要窃取数据
你需要知道，在某些情况下，网络搜刮可能是非法的。如果我们要搜刮的网站的条款和条件禁止用户复制和下载内容，那么我们就不应该搜刮这些数据，并尊重该网站的条款。
在不破坏网站的前提下，刮除不在密码保护认证系统（公开可用数据）后面的数据是没有问题的。但是，如果你进一步分享刮擦的数据，就会带来潜在的问题。例如，如果你从一个网站下载内容并发布到另一个网站上，你的搜刮行为将被视为非法，并构成侵犯版权。
不要破坏网络
每当你编写网络搜刮程序时，你都会重复查询一个网站，并有可能访问其大量页面。每访问一个页面，都会向网站的网络服务器发送一个请求。服务器会处理请求，并将响应发送回运行代码的计算机。我们发送的请求会消耗服务器的资源。因此，如果我们在短时间内发送过多请求，就会导致其他普通用户无法在此期间访问网站。
黑客经常使用拒绝服务（DoS）攻击来关闭网络或机器，使目标用户无法访问。他们向服务器发送信息，引发服务器崩溃，或向目标网站发送大量流量。
由于 DoS 攻击在互联网上很常见，因此大多数现代网络服务器都有防止非法使用其资源的措施。它们对来自单一 IP 地址的大量请求保持警惕。如果该地址在短时间内发送多个请求，它们就会阻止该地址。
询问与分享
根据您的项目范围，值得询问您计划搜刮的数据的馆长或所有者。您可以询问他们是否有符合您项目需求的结构化格式的数据。如果你想以他们可能感兴趣的方式将他们的数据用于研究目的，你就可以省去编写网络搜刮工具的麻烦。
您还可以为他人省去编写网络搜索器的麻烦。例如，如果您将数据或文档作为研究项目的一部分发布，可能会有人想获得您的数据以供使用。如果您愿意，您可以为他人提供下载结构化格式原始数据的方法，从而省去编写网络刮刀的麻烦。
安全第一
数据隐私和版权立法因国家而异。您需要查看适用于您的情况的法律。例如，在澳大利亚等国家，即使电话号码、电子邮件地址和姓名等个人信息是公开的，搜刮这些信息也是非法的。
You should adhere to the web scraping code of conduct to scrape data for your personal use. However, if you want to harvest large amounts of data for commercial or research purposes, you probably have to seek legal advice.
道德网络搜索的代理服务器
大家都知道，代理服务器的应用非常广泛。它们的主要用途是隐藏 IP 地址和用户的位置。代理还允许用户在上网时访问受地理限制的内容。因此，用户可以访问隐藏的网页，因为代理可以绕过内容和地理限制。
您可以使用代理来最大限度地提高搜刮器的输出，因为代理会降低拦截率。如果不使用代理，您只能从网络上抓取极少的数据。这是因为代理服务器超过了抓取率，允许蜘蛛提取更多数据。抓取率表示在给定时间内可以发送的请求数量。该比率因网站而异。
选择代理
您可以根据项目要求选择代理。您可以使用专用代理或共享代理。
- 如果您的项目需要高性能和最大化连接，专用代理是最好的选择。
- 当您在预算有限的情况下开展小规模项目时，共享代理服务器的表现非常出色。
- 从网络上提取数据时，不鼓励使用免费代理。这是因为它们向公众开放，经常被用于非法活动。
除了为项目选择代理服务器，您还可以识别 IP 来源。代理服务器分为三类。
数据中心代理 - 这是用于网络搜索的最便宜、最实用的代理。这些 IP 在独立服务器上创建，可有效用于完成大型搜索项目。
住宅代理--由于它们隶属于第三方，因此可能很难获得。
移动代理--它们是最昂贵的，但如果要收集只能在移动设备上看到的数据，它们就非常适合使用。
关于网络搜索伦理的结论
到目前为止，我们已经讨论过，只要牢记法律和道德方面的注意事项，就可以从互联网上提取数据。例如，你不应该从网上窃取数据。你不能共享你无权共享的数据。如果你的项目需要某个组织的数据，你可以礼貌地询问他们是否可以共享结构化格式的原始数据。或者，如果他们允许，你可以编写自己的网络搜刮程序，从网站上提取数据。此外，我们讨论过，你可以根据项目需要选择不同的代理。您可以使用数据中心或住宅IP，因为它们被广泛用于网络搜刮。