网络抓取：该做的和不该做的
网络搜索或网络数据提取是一种从网站收集数据的自动化过程。企业利用网络搜索可以从大量公开数据中做出更明智的决策，从而使自己受益。他们可以有组织地提取数据，以便于分析。网络抓取有许多优点
目录
网络搜索或网络数据提取是一种从网站收集数据的自动化过程。企业利用网络搜索可以从大量公开数据中做出更明智的决策，从而使自己受益。他们可以有组织地提取数据，以便于分析。网络搜索有很多应用。例如，它可用于电子商务领域的竞争对手价格监控。企业可以通过检查竞争对手的产品和服务价格来调整自己的价格策略，从而保持领先地位。此外，市场调研机构可以通过跟踪反馈和在线产品评论来衡量客户情绪。
一般来说，网络扫描过程包括以下步骤。
- 确定目标网站
- 收集要提取数据的网页 URL
- 向这些 URL 提出请求，以获取页面 HTML 代码
- 使用定位器在页面 HTML 中收集数据
- 以 CSV 或 JSON 文件等结构化格式存储数据
网络抓取有什么用？
以下是网络搜索的一些使用案例。
市场调研--市场调研至关重要，它需要由最准确的数据驱动。如果组织拥有大量、高质量和高洞察力的网络刮擦数据，就能进行适当的市场调研并判断客户情绪。市场分析师可以利用网络刮擦执行以下任务。
- 研发
- 竞争对手监控
- 市场定价
- 市场趋势分析
房地产 - 房地产经纪人可以通过将网络搜刮数据纳入日常业务，在市场中做出明智的决策。他们通过使用从不同网站搜刮的数据执行以下任务。
- 租金收益估算
- 了解市场方向
- 财产价值评估
- 监测空缺率
内容和新闻监测 - 如果公司经常出现在新闻中，或者依赖于及时的新闻分析，那么网络搜索就是监测、汇总和解析行业重要新闻的最终解决方案。企业可以利用网络搜索进行以下工作。
- 竞争对手监控
- 公众情绪分析
- 政治活动
- 投资决策
最低广告价格 (MAP) 监控 - MAP 监控可确保品牌的在线价格与其定价政策保持一致。由于有许多卖家和分销商，不可能手动监控价格。因此，您可以使用自动网络扫描程序来监控产品价格。
网络抓取操作要领
您需要小心翼翼地从网络上提取数据，因为在刮擦数据时可能会损害网站功能。因此，你必须了解所有网络刮擦的注意事项。
自我身份识别 - 从网络上抓取数据时，最好能表明自己的身份。如果您不遵守身份识别规则，目标网站可能会阻止您的网络爬虫。您需要将您的联系信息写入爬虫头部。系统管理员或网站管理员可以轻松访问爬虫的信息，并通知您爬虫面临的任何问题。
IP 轮换 - 许多网站都采用了反搜索机制，以保护网站免受恶意攻击。如果你不了解网络抓取的基本机制，就会立即被网站屏蔽。如果你每次请求都使用相同的 IP，网站也会阻止你。因此，您需要使用新的 IP 向目标网站发送多个请求。为此，您可以使用代理服务器，因为代理服务器会向网站所有者隐藏您的身份，并为您分配一个 IP 地址池。因此，您可以使用不同的 IP 地址向网站发送多个请求，而不会被阻止或禁止。
检查 robots.txt--如果要进行网络抓取，就需要仔细检查 robots.txt 文件。robots.txt 是一个让搜索引擎知道哪些文件可以使用机器人抓取，哪些不可以。几乎每个网站都有这个文件，因此你可以从这个文件中了解网络抓取的规则。robots.txt 文件包含与每秒可发送的请求数量和可访问的页面有关的重要信息。
CSS 钩子 - 您可以使用 CSS 选择器查找网页中的 HTML 元素并从中收集数据。当你选择一个元素时，网络搜刮工具会尝试猜测所选元素的 CSS 选择器。您可以使用 jQuery 中的 CSS 选择器和 CSS 1-4 版本（浏览器支持）中的 CSS 选择器。
网络抓取禁忌
以下是网络搜索的注意事项。
不要给网站造成负担--您不应该损害正在从中获取数据的网站。有时，请求的频率和数量会给网站服务器造成负担。您可以尝试使用单个 IP 从目标网站访问数据；如果您想从多个页面访问数据，也可以使用代理服务器，它可以为您提供不同的 IP 地址。
不要违反《一般数据保护条例》--您不能违反《一般数据保护条例》提取欧盟公民的数据，因为这是违法行为。随着《一般数据保护条例》的出台，欧盟公民的数据被完全改变和篡改。可以描述数据的有价值的变体包括姓名、号码、年龄、电子邮件、联系方式、IP 地址等。
不要使用猫腻--你可以使用数以百万计的互联网工具和技巧，只需点击几下鼠标就能绕过网站的所有安全协议。但网站管理员可以轻易识破你的伎俩，而且在大多数情况下，他们会避开你的伎俩来欺骗你。如果他们发现你的任何行为会损害他们的网站，他们就会阻止你。因此，您需要坚持使用维护目标网站声誉的工具和服务。
不要锤击网站 - 检测网站上的实时变化与执行拒绝服务 (DOS) 攻击之间存在巨大差异。作为网络搜刮者，你需要知道你的请求之间会有轻微的延迟。如果有 IDS 基础设施，网站会检测到您的定期请求并阻止您的 IP。
用于网络抓取的代理服务器
大家都知道，代理是发送请求的客户端和接收请求的服务器之间的中介或第三方服务器。代理服务器对网络搜索至关重要，因为它们能有效地提取数据，并降低被拦截的几率。代理为您提供多个 IP 地址，因此您可以使用不同的 IP 地址向目标网站发送多个请求，而不会被禁止。您还可以使用代理访问受地理限制的网站内容。
简而言之，代理对网络搜索非常有用，原因有以下两个。
- 它们会向目标网站隐藏源机器的 IP 地址。
- 它们有助于突破目标网站的费率限制。
您可以选择以下不同类型的代理进行网络搜索。
数据中心 IP - 这些是数据中心托管的服务器 IP 地址。
住宅 IP - 它们比数据中心 IP 更贵，是私人家庭的 IP 地址。您可以使用它们通过住宅网络转发您的请求。
移动 IP - 这是私人移动设备的 IP。与其他 IP 相比，移动 IP 地址的成本太高。
代理集成
您可以通过以下步骤将代理服务器集成到现有的网络搜索软件中。
- 通过代理传递网络搜刮程序的请求
- 在两次请求之间适当轮换代理服务器的 IP 地址
第一步很简单，只需导入 Python 的请求模块并传递代理连接 URL。然后，你必须向目标网站发送 get 请求，如下步骤所示。
import requests
proxies = {'http': 'http://user:[email protected]:3128/'}
requests.get('http://example.org', proxies=proxies)第二步有点复杂，取决于您在某一特定时间进行了多少并行处理，以及您希望与目标网站的速率限制保持多少余量。
结论
通过网络搜刮，您可以从第三方网站收集数据，并根据自己的需要加以使用。它在搜索引擎结果优化、电子商务价格监控、潜在客户生成和新闻聚合等方面功能强大。网络抓取并不简单，因为在从网站收集数据时，你需要注意一些特定的 "做 "和 "不做 "事项。您必须以不损害网站或更改其数据的方式从网站上提取数据。代理对从网站提取数据非常有帮助，因为它们可以隐藏你的身份，防止你被禁止或屏蔽。您可以根据需要使用住宅代理或数据中心代理。