现在,让我们看一下使用 JavaScript 进行电子商务时的一些常见错误,以及避免这些错误的网站示例。
1. 依赖 JavaScript 的页面导航
爬虫的行为与用户在网站上的行为不同 —— 它们无法滚动或单击来查看您的产品。机器人必须遵循整个网站结构的链接才能完全理解和访问所有重要页面。否则,仅使用基于 JavaScript 的导航可能会让机器人仅在分页的第一页上看到产品。
罪魁祸首:Nike.com
Nike.com 使用无限滚动来在其类别页面上加载更多产品。因此,Nike 面临着其加载内容无法被索引的风险。
为了测试,我进入了他们的一个类 柬埔寨电邮清单 别页面,向下滚动以选择由滚动触发的产品。然后,我使用“site:”命令检查 URL 是否已在 Google 中编入索引。正如您在下面的屏幕截图中看到的那样,此 URL 在 Google 上无法找到:
当然,Google 仍然可以通过站点地图找到您的产品。但是,通过链接以外的任何其他方式找到您的内容都会使 Googlebot 更难理解您的网站结构和页面之间的依赖关系。
为了让您更加清楚,请考虑一下 Nike.com 上所有仅在滚动时才可见的产品。如果没有可供机器人跟踪的链接,他们将在给定的类别页面上仅看到 24 种产品。当然,为了用户的利益,Nike 无法在一个视口上提供所有产品。但仍然有更好的方法来优化无限滚动,让用户感到舒适,让机器人更容易访问。
获胜者:Douglas.de
与耐克不同,Douglas.de 使用更加有利于 SEO 的方式在类别页面上提供其内容。
它们为机器人提供基于 <a href> 链接的页面导航,以便抓取和索引下一页。正如您在下面的源代码中看到的那样,其中包含指向第二页分页的链接: