什么是坏机器人，如何检测和阻止它们？

听到 "机器人 "这个词，您会想到什么好东西吗？您知道如何检测和阻止坏机器人吗？我猜您听到的都是坏机器人，更不用说如何检测和阻止它们了。不过，并非所有的机器人都是坏的，也有好的机器人。本文

听到 "机器人 "这个词，您会想到什么好东西吗？您知道如何检测和阻止坏机器人吗？我猜您听到的都是关于恶意机器人的信息，更不用说如何检测和阻止它们了。

不过，并非所有机器人都是坏的，也有好的机器人。本文将介绍坏机器人，如何区分好机器人和坏机器人，以及它们可能对网站造成的危害。最后但并非最不重要的一点是，您将发现如何防止坏机器人带来的后果。

首先，让我们用非专业人士的术语来了解一下什么是机器人。

什么是网络机器人？

根据网络安全公司 Barracuda 最近的一份报告，三分之二的互联网流量（64%）由僵尸程序构成。在这三分之二的僵尸中，有 40% 的互联网流量是坏僵尸。这些统计数据截至 2021 年 9 月。

此外，这份报告还指出，如果我们不采取严格的安全措施，这些机器人就会突破防线，窃取数据，造成网站性能低下和数据泄露。

让我们来看看机器人执行的一些日常任务。

机器人的典型例子

机器人操作的一个日常例子是，谷歌等搜索引擎利用机器人抓取成千上万的网页，提取网页内容并将其编入索引。然后，当你在谷歌上搜索一个短语时，它就会知道在哪里可以找到所需的信息。

同样，交易机器人代表人类完成交易，而售票机器人则为热门活动购买门票。

此外，自人工智能（AI）和机器学习发展以来，商业智能服务已利用机器人从社交媒体资料中抓取产品页面和评价，以发现产品的性能如何。 

在上述某些任务中，机器人比人类更受欢迎的一个重要原因是，它们执行指令的速度比人类快几百或几千倍。

现在，让我们来看看好机器人和乐队机器人之间的区别。

机器人有哪些不同类型？

正如我之前提到的，机器人可以分为好机器人和坏机器人。与其他任何东西一样，让我们先来看看好机器人。

优秀机器人

我们刚刚看了一个好机器人的例子，即搜索引擎机器人。同样，还有其他一些优秀的机器人，例如

• 语音引擎机器人：与搜索引擎机器人一样，这些机器人也会爬行网络，为用户使用语音搜索的查询寻找答案。Alexa's Crawler和Applebot（Siri）就是我们熟悉的语音搜索机器人。

• 社交网络机器人：这些机器人抓取 Facebook 和其他社交媒体网站上的共享网站，以更好地提出建议、打击垃圾邮件并改善网络环境。一些典型的例子包括 Facebook Crawler 和 Pinterest Crawler。 

• 版权机器人：这些机器人通过搜索数字内容来发现版权侵权行为。一个典型的例子是分配给网络版权所有者的 Youtube 内容 ID。另一个例子是在社交媒体上使用这些机器人，因为原创内容创作是社交媒体的重中之重。

• 营销机器人：搜索引擎优化和内容营销软件主要使用这些机器人抓取网站的反向链接、确定流量以及搜索有机和付费关键词。其中一些例子包括SEMrush 机器人和AhrefsBot。

• 数据机器人：这些机器人可提供新闻、天气和汇率等即时信息。亚马逊 Echo 和 Google Home 就是其中突出的例子。 

• 交易机器人：这些机器人可帮助您找到您计划在线购买的产品的最佳优惠或促销信息。消费者和零售商可以充分利用交易机器人找到更优惠的价格，从而在竞争中立于不败之地。

优秀机器人有哪些特点？

正如您所看到的，这些优秀机器人的一个显著特点就是为公司或网站访问者执行有价值的任务。制作这些机器人的开发人员并没有恶意。

此外，它们不会妨碍所抓取网站的用户体验。好的机器人还会遵守网站 robot.txt 文件中的规则，其中规定了可抓取和不可抓取的页面。

但从另一方面来说，当机器人访问网站时，它们可能会消耗服务器的加载时间和带宽。因此，即使是真正的机器人也可能在不知不觉中造成损害。此外，咄咄逼人的搜索引擎机器人还可能导致网站瘫痪。 

尽管如此，您可以通过适当的服务器配置来克服这些负面影响。

现在让我们来了解一下什么是坏机器人。

巴布机器人

好的机器人会给用户带来一些好处，而软件开发者开发的坏机器人则会给用户带来伤害。市场上的一些坏机器人有

夸大页面浏览量的机器人

开发人员开发这些机器人，向网站发送虚假流量，以增加页面浏览量，从而欺骗页面所有者，让他们误以为自己的页面总数增加了。然而，实际上并没有真正的用户，是机器人在增加页面浏览量或点赞数。 

有些网络服务利用这些机器人来销售流量。他们声称会向您的网站发送真实用户，而事实上，他们最终发送的是僵尸流量。

有些机器人会观看视频并夸大视频的观看次数。

垃圾邮件机器人

垃圾机器人经常访问网页来执行垃圾任务。垃圾邮件活动的一个重要例子是，它们会自动与在线表单互动，留下评论，并通过自动点击提交按钮来提交评论。 

例如，您企业的一些竞争对手会留下虚假的产品评论，以产生对产品的负面评价。另一个经常使用垃圾机器人的例子是在政治活动中。

您可能经常注意到，垃圾评论甚至包含 URL 甚至特殊字符。

网络抓取器

网络刮擦机器人是一种互联网机器人，可方便地窃取您的内容。这些刮擦机器人通常会在未经网站管理员同意的情况下访问网页并提取数据。

虽然网络搜刮在法律面前并不违法，但只要内容是公开的，不需要任何认证，也不受版权法的约束，作者通常都不喜欢这样做。网络搜刮者如果发送过多的查询，可能会关闭网站。

结账机器人

人们在购买限量版运动鞋时，大多会使用结账机器人来复制运动鞋。由于限量版竞争激烈，用户只能购买一双，因此他们使用结账机器人来加快在线结账过程。

机器人抢购球鞋的速度之快，是人类望尘莫及的。因此，那些真正购买的人将没有机会得到任何运动鞋，因为他们无法接近机器人的速度。 您可能会发现这是一篇有趣的文章：什么是运动鞋机器人，它们是如何使用的？

僵尸网络

僵尸网络是黑客劫持的计算机网络，用于实施各种网络攻击。

黑客开发僵尸网络的目的是通过不断扩大、自动化和加速僵尸网络的进程，提高他们实施更多特殊攻击的能力，如协同 DDOS 攻击。然后，僵尸网络会在你不知情或未经你同意的情况下，利用你的设备欺骗和干扰其他人的设备。

这些受感染的设备被称为僵尸设备。有关僵尸网络的更多信息，请参阅本文。

账户接管机器人

这些机器人通常采用两种最常见的自动方法窃取登录凭证，即凭证填充和凭证破解。前一种方法使用大量登录尝试来验证它们所窃取的用户名和密码对的有效性。

相比之下，后一种方法包括机器人尝试用户名和密码对的不同值。然后，机器人最终成功侵入计算机系统，这可能会产生深远的影响。

卡片和卡片破解机器人

您可能已经猜到了，信用卡欺诈可能发生在任何使用支付处理器的网站上。黑客使用恶意机器人来验证他们通过小额支付窃取的信用卡号，这就是所谓的 "刷卡"（Carding）。 

他们还将使用卡片破解技术来识别失效日期和 CVV 号码等缺失信息。

这些威胁经常发生在零售、娱乐和旅游行业。   

如何检测恶意机器人

僵尸检测和管理需要大量的调查和专业知识，因为黑客设计的僵尸是隐形的。您需要深入挖掘，找出您的网站是否有任何僵尸流量。另一方面，您需要尽量减少误报（将人类误认为僵尸）和误判（将人类误认为僵尸）。

总之，以下迹象表明，机器人可能已经潜入了你的系统：

流量的不规则飙升

任何网站所有者都可以访问网站指标数据。例如，谷歌分析数据。因此，当您查看这些指标时，如果您发现来自不寻常位置的流量急剧增加，这就表明机器人正在与您的网站进行交互。

在这种情况下，您可能会注意到跳出率的增加。您获得这些流量的地点可能来自您通常没有访客的地方。

通过检查请求头

在大多数情况下，一些不太复杂的机器人不会发送浏览器通常会发送的所有标头。事实上，它们会忘记发送用户代理标头。

复杂的机器人通常只发送标题，而不会发送更多的用户代理字符串。因此，如果您收到的请求很少或没有标题，就说明机器人可能正在评估您的网站。相比之下，浏览器会发送合理数量的标题信息。

服务器性能明显变慢

如上所述，当机器人访问网站时，它们会消耗网站的大部分资源，包括带宽。因此，如果您在短时间内收到大量来自机器人的请求，这意味着您的网站速度会大大降低。

不过，有些狡猾的机器人会采取一种不引人注意的方式，开展与人类类似的活动。在此过程中，它们会像人类一样发送过少的请求。

因此，你不能总是依赖性能下降作为衡量僵尸流量的指标。

会话持续时间长短

通常情况下，会话持续时间或用户在网站上花费的时间是稳定的。但是，如果会话过程突然增加，就意味着机器人浏览网站的速度降低了。另一方面，机器人点击网站页面的速度可能快于人类用户，从而导致会话时间自发下降。

垃圾转换和内容发布

您可能会遇到不正常的电子邮件地址、假电话号码和姓名提交表单的情况。

您还可以从机器人发布的内容中轻松发现它们。与人类不同，机器人没有时间去制作高质量的内容。因此，当你开始收到含糊不清、愚蠢的评论或带有嵌入式 URL 的帖子时，你需要识别出它们并非来自真人，而是机器人。

如何阻止恶意机器人

作为打击这些恶意机器人的第一步，您必须设置网站的 robot.txt 文件。毫无疑问，您可以对该文件进行配置，以控制机器人可以访问哪些页面，并尽量减少机器人与网站上大多数页面的交互。

其他措施包括

根据 IP 地址设置速率限制--IP 地址是评估网站的设备的唯一标识符。因此，作为网站管理员，您可以限制一个 IP 地址在特定时间内对您网站的请求次数。

阻止可疑的 IP 地址 - 除了设置速率限制外，网络地址还可以阻止来自可疑 IP 地址的请求。为此，您可以使用 WAF（网络应用防火墙）。

使用验证码服务 - 在访问某些网站时，你可能会遇到验证码。当验证码服务检测到奇怪或类似机器人的行为时，它会让你在访问网站之前解决问题。

结论

我们希望您已经全面了解了不良僵尸程序、如何检测它们并最终摆脱它们。的确，你需要一些真正的机器人，它们不会对你的系统造成危害。但是，如果您不惜一切代价驱逐坏机器人，那将会对您的系统有很大的帮助，因为它们可能会造成严重的破坏。

希望这篇文章对您有所帮助，请继续关注我们的更多文章。