任何搜索机器人都以
Posted: Tue Mar 25, 2025 5:12 am
类似的方式指示，目前已知的搜索机器人已超过三百种。
输入禁止索引的组件
请注意，扫描页面的权限是通过以下条目发出的：
禁止：
在这种情况下，禁令如下所示（针对所有页面）：
不允许：/
对于同名文件夹的内容：
禁止：/images/
对于指定格式的图像：每种禁止索 瑞典电话号码数据 引的格式都在单独的行中输入。
不允许：*.webp
对于指定格式的文档：每种格式 - 占一行。
不允许：*.doc
对于特定文件：每个不需要索引的文件都写在单独的行上。
不允许：/myfile1.htm
在填写robots.txt指令时要格外小心，遵循“不伤害”的原则，因为即使是一个小小的缺陷也可能给资源带来严重问题。命令数量不能超过1024条。
表壳：VT-metall
了解我们如何为莫斯科一家金属加工公司 将招聘成本降低 13 倍
了解方法
如何使用元标记关闭网站索引
robots.txt服务文件存储在网站的根目录中，允许您影响整个资源。一个具有针对性影响的工具是 robots 元标记，它允许您“隐藏”特定资源页面（index 参数）及其上的链接（follow 参数）。专家指出，谷歌优先考虑元标记，认为其禁令和许可比robots.txt中规定的更有权威。
robots 元标记位于 HEAD 内，在 <title> 之前。
禁止索引时的index和follow参数前面都会加上英文的“no”，诚实的机器人读完之后会跳到下一页，但对于“小偷”来说，既定的规则并不是法律。我们需要以其他方式来对抗他们，这是另一篇文章的主题。目前，任务归结为正确禁止诚实搜索机器人进行索引。
您可以通过在页面代码中输入以下内容来关闭该页面及其上的链接：
防止蜘蛛检查链接质量，同时保持页面本身可见：
链接仍然可以访问，但是页面被隐藏，无法被索引：
使用这两种工具是最有效的：robots.txt 和 robots 元标记的组合允许您最大限度地降低不需要的索引的风险并向 robots 显示路径，这将显著加快资源在搜索数据库中的出现速度。
输入禁止索引的组件
请注意，扫描页面的权限是通过以下条目发出的：
禁止：
在这种情况下，禁令如下所示（针对所有页面）：
不允许：/
对于同名文件夹的内容：
禁止：/images/
对于指定格式的图像：每种禁止索 瑞典电话号码数据 引的格式都在单独的行中输入。
不允许：*.webp
对于指定格式的文档：每种格式 - 占一行。
不允许：*.doc
对于特定文件：每个不需要索引的文件都写在单独的行上。
不允许：/myfile1.htm
在填写robots.txt指令时要格外小心，遵循“不伤害”的原则，因为即使是一个小小的缺陷也可能给资源带来严重问题。命令数量不能超过1024条。
表壳：VT-metall
了解我们如何为莫斯科一家金属加工公司 将招聘成本降低 13 倍
了解方法
如何使用元标记关闭网站索引
robots.txt服务文件存储在网站的根目录中，允许您影响整个资源。一个具有针对性影响的工具是 robots 元标记，它允许您“隐藏”特定资源页面（index 参数）及其上的链接（follow 参数）。专家指出，谷歌优先考虑元标记，认为其禁令和许可比robots.txt中规定的更有权威。
robots 元标记位于 HEAD 内，在 <title> 之前。
禁止索引时的index和follow参数前面都会加上英文的“no”，诚实的机器人读完之后会跳到下一页，但对于“小偷”来说，既定的规则并不是法律。我们需要以其他方式来对抗他们，这是另一篇文章的主题。目前，任务归结为正确禁止诚实搜索机器人进行索引。
您可以通过在页面代码中输入以下内容来关闭该页面及其上的链接：
防止蜘蛛检查链接质量，同时保持页面本身可见：
链接仍然可以访问，但是页面被隐藏，无法被索引：
使用这两种工具是最有效的：robots.txt 和 robots 元标记的组合允许您最大限度地降低不需要的索引的风险并向 robots 显示路径，这将显著加快资源在搜索数据库中的出现速度。