我目前认为最接近“抓取预算”概念的定义是搜索引擎在抓取网站时投入的最大资源量。从极其实际的角度来说，搜索引擎愿意“消耗”多少时间和带宽来搜索和分析网站的页面。
什么是爬行以及为什么它如此重要
爬行是搜索引擎三个主要工作过程（爬行、索引、排名）中的第一个，它允许收集有关网站及其内容的信息。借助爬虫，搜索引擎可以发现并分析网站的所有可访问资源，检查新页面或现有页面的更新，创建整个网站的内容和资源的地图。扫描数以百万计的资源可以进行搜索。引擎拥有完整且始终更新的 Web 概览。
如果没有爬行喀麦隆电话号码列表 喀麦隆电话号码列表[/url 搜索引擎就不可能以任何方式运行。
网站抓取具体是如何工作的？
Google 抓取由一系列简单的步骤组成，这些步骤针对每个站点递归地工作。该图显示了 Google 扫描，它从robots.txt文件中的匹配开始，其中有要遵循的指令。爬虫通常在站点地图的帮助下开始其爬行路径，并继续分析所有尚未查看的新页面。将 URL 与“备份”中存在的 URL 进行比较，然后继续您的活动。
抓取预算
如何以及在何处监控爬行
Google 网站管理员工具提供了 Googlebot 活动的概述，并可在旧搜索控制台视图的相应“抓取统计信息”部分中轻松查看统计信息。
在这里您可以找到以下信息：
每天扫描的页面数
每日下载千字节数
下载页面所花费的时间（以毫秒为单位）
抓取预算
从显示网站性能优化的图像中可以看出，每天扫描的页面与页面的下载时间成反比。下载时间越短，抓取的页面就越多。从逻辑上来说，事实上我们理解搜索引擎需要为此操作优化其资源。如果网站的速度得到优化，爬虫（相对于其他网站和用户导航）将能够在爬行操作期间处理更多页面。
