谷歌的约翰·穆勒 (John Mueller) 表示

[samiaseo55]

谷歌的 John Mueller在最近的 LinkedIn 帖子中透露，谷歌内部已经讨论过在 robots.txt 文件中实施 noindex 指令。该指令目前还不是标准，它允许出版商同时阻止内容抓取和索引。

穆勒解释称，早在10年前我们就考虑过引入noindex指令。这样做的原因是为了让发布商更容易阻止内容被索引，而无需同时使用 robots.txt 文件和 robots 元标记。

最终，谷歌决定不支持该指令。原因是担心网站的关键部分很容易被错误地从搜索引擎索引中删除。许多人在没有彻底检查 robots.txt 文件的情况下就复制并粘贴它们，这可能会无意中阻止重要内容。

穆勒的 robots.txt 文件因异常使用非标准指令而在过去一周引起轰动。一些 SEO 专家认为，Mueller 的 robots.txt 文件是各种实验的测试平台。其他人则认为穆勒只是犯了错误。

无论真相如何，这一事件凸显了遵守 robots.txt 标准的重要性。使用非标准指令可能会导致不可预测的结果，并使搜索引擎爬虫的工作更加困难。

非指数指令
robots.txt文件中的所有内容称为指令。指令是向网络爬虫发出的请求。

关于如何编写 robot指令有标准，任何 喀麦隆 电话号码 不符合这些标准的内容都可能会被忽略。 Mueller 的非标准 robots.txt 指令引起了一位 LinkedIn 用户的注意，他决定向 John Mueller 写一个问题，看看 Google 是否支持这个非标准指令。

在这种情况下，非标准指令是noindex。 Noindex 是元机器人标准的一部分，但不是 robots.txt 标准的一部分。

SEO专家Mahek Giri特别提出了这个问题：

“在 John Mueller 的 robots.txt 文件中，

是一个不寻常的命令：“noindex：”

此命令不属于标准 robots.txt 格式，

那么您认为这会对搜索引擎如何索引他的网页产生任何影响吗？

为什么 Google 不支持 Robots.txt 中的 Noindex 指令？
谷歌的约翰·穆勒 (John Mueller)回应称不支持。

穆勒回答说：

“这是一条不受支持、没有任何作用的指令。”

穆勒进一步解释说，谷歌曾考虑支持 robots.txt 中的 noindex 指令，因为它可以允许发布商同时阻止谷歌抓取和索引内容。