如何保护您自己的在线业务免受竞争对手的价格监控
任何管理者都希望保护自己免受此类侵犯，这是完全自然的愿望。保护用户的个人数据和产品价格也符合他的利益。正因为如此，许多网站都安装了解析保护，为此有许多复杂而有效的方法可以帮助识别 truemoney 数据库 和阻止机器人。但数据收集者也没有停滞不前——他们正在创建更加智能的系统。要创造它们，你需要拥有大量的技能。
现在许多网站都安装了保护措施，可以使用间接指标检测机器人并向其提供不正确的信息，从而使监控工作变得毫无用处。多级保护也经常被使用——这是一种同时使用几种更简单的技术保护的方法。
监控竞争对手价格的程序的主要困难在于，这种多级保护不断更新和改进，这意味着始终需要监控数据的正确性。否则，所做的工作将毫无意义。
防止监控的常用方法是动态馈送。这是通过 AJAX 请求实现的，其中 Web 服务器响应常规 GET 请求，首先转到不带信息的 html 页面的底部，然后才使用 POST 请求，在本例中该请求负责价目表，并将其显示在页面站点上。
这种保护方法实际上毫无用处，只能帮助保护那些并非针对特定资源而定制的机器人，而是盲目收集数据，即使用一个网络蜘蛛收集它们遇到的所有网站。
另一种类型的保护是 HTTP 请求标头的诊断，它检查 User-Agent 字段和其他典型但对于不同浏览器不同的参数是否存在以及是否正确填充。它们应该始终位于请求标头中。包含此类数据的用户代理行可以由浏览器本身确定并填充。通常，此处会标明站点的名称和当前版本。利用这些数据，人们可以建立“个性”。
另一种检查方法是搜索所谓的 Cookie（这些是在浏览器和 Web 服务器之间交换的文件），它们是 Web 分析系统（例如 Google Analytics 或 Yandex.Metrics）的计数器。如果没有cookie，系统可能会认为该请求不是由用户发出的，而是由网络蜘蛛发出的。如果发生这种情况，请求将被删除，个人网络地址将被阻止。
正确创建的机器人可以将自己伪装成任何浏览器，还可以创建任何 cookie 的外观 - 因此，这种保护方法也不安全。
限制来自一个 Internet 地址的请求数量
还有另一种相当常见的方法 - 限制在一定时间间隔内来自一个 Internet 地址 (IP) 的请求数量。这有助于防止锤击攻击，从而减慢您的网站速度。
不幸的是，这种保护也不再有效，而且现在很容易被绕过，因为大多数网络机器人使用大量的过渡计算机作为它们、在线商店和用户之间的中介。此类导体称为代理服务器。
也读一下！
“网站优化：新员工指南”
更多详情
它们通常会被提供匿名服务的服务检测到。他们扫描互联网，寻找开放端口，并下载他们找到的代理服务器以进行付费订阅。因此，现代网络机器人既使用自己的代理服务器数据库，又不断接收新的数据库。所有这些都使他们能够更改 IP 地址，从而在执行数据收集工作时保持不被发现。
让我们谈谈使人们创建网络蜘蛛的工作变得更加困难的其他方法。这种方法通常被许多用户访问的在线商店（即所谓的巨型商店）所使用。
他们首先使用的是通过将元素与其他用 javascript 编程语言编写的无用文档混合来屏蔽元素，从而创建 HTML 页面的动态结构。这种形成防止解析器将自身附加到多级组件结构，因为它几乎总是需要依赖于不存在的逻辑元素结构。
混合不同脚本的方法的问题在于，使用解析器几乎不可能在 JavaScript 中创建非自愿脚本，然后您仍然需要将其传递给 POST 请求，以显示必要的信息。
监控的主要问题是大多数机器人不知道如何在 Java 中工作。有些人可以做到这一点，但他们的速度太低，这对解析器来说非常不利。但幸运的是，对于普通用户来说，浏览器可以毫无问题地处理这项工作。
