Dataiku 允许您将计算委托给正确的引擎
Posted: Sat Mar 01, 2025 9:34 am
Dataiku 既是润滑剂又是胶水......使物体更快,同时将它们粘合在一起。
计算是有成本的,Dataiku 提供各种策略来帮助以经济高效的方式管理计算。为此,Dataiku 可以使用自己的应用服务器。它还可以将计算委托给外部引擎。我们将此过程称为计算下推。
在 Dataiku 中,转换数据集时,您大部分时间都 阿富汗 WhatsApp 号码列表 在处理样本。完成转换后,您可以将这些步骤应用于整个数据集。现在您可以选择最佳计算引擎。它应该与数据存储和您需要执行的操作相匹配。在某些情况下,管理员可以为您设置默认计算引擎。这让您可以专注于设计和运行转换。您不必担心资源选择。
Dataiku 中的计算下推主要有四种形式:
下推计算 Dataiku
您可以在内存中运行计算,也可以在 Dataiku 引擎上流式传输它们。您可以使用此策略来执行 Python 配方。
2. 使用数据库内策略将可视化配方转换为 SQL 查询。然后,SQL 服务器或 Snowflake 等云原生数据仓库将运行您的查询。
3. 您还可以使用 Spark 集群或 Databricks 通过 Spark SQL 查询来推动计算。
4. Docker 和 Kubernetes 集群为 Dataiku 的主机服务器提供了替代方案。这些技术可实现容器化的内存执行。
您的 Dataiku 平台管理员可以配置和管理您的计算引擎。他们可以访问高级配置和权限设置。这使组织能够保护基础设施访问并控制其成本。这保证了资源的有效和安全分配。
因此,Dataiku 允许您将计算推送到您选择的基础设施上。但是,您可以将其多广泛地应用于您的数据准备和 ML 管道?
计算是有成本的,Dataiku 提供各种策略来帮助以经济高效的方式管理计算。为此,Dataiku 可以使用自己的应用服务器。它还可以将计算委托给外部引擎。我们将此过程称为计算下推。
在 Dataiku 中,转换数据集时,您大部分时间都 阿富汗 WhatsApp 号码列表 在处理样本。完成转换后,您可以将这些步骤应用于整个数据集。现在您可以选择最佳计算引擎。它应该与数据存储和您需要执行的操作相匹配。在某些情况下,管理员可以为您设置默认计算引擎。这让您可以专注于设计和运行转换。您不必担心资源选择。
Dataiku 中的计算下推主要有四种形式:
下推计算 Dataiku
您可以在内存中运行计算,也可以在 Dataiku 引擎上流式传输它们。您可以使用此策略来执行 Python 配方。
2. 使用数据库内策略将可视化配方转换为 SQL 查询。然后,SQL 服务器或 Snowflake 等云原生数据仓库将运行您的查询。
3. 您还可以使用 Spark 集群或 Databricks 通过 Spark SQL 查询来推动计算。
4. Docker 和 Kubernetes 集群为 Dataiku 的主机服务器提供了替代方案。这些技术可实现容器化的内存执行。
您的 Dataiku 平台管理员可以配置和管理您的计算引擎。他们可以访问高级配置和权限设置。这使组织能够保护基础设施访问并控制其成本。这保证了资源的有效和安全分配。
因此,Dataiku 允许您将计算推送到您选择的基础设施上。但是,您可以将其多广泛地应用于您的数据准备和 ML 管道?