Dataiku 允许您将计算委托给正确的引擎

[ayeshshiddika11]

Dataiku 既是润滑剂又是胶水......使物体更快，同时将它们粘合在一起。


计算是有成本的，Dataiku 提供各种策略来帮助以经济高效的方式管理计算。为此，Dataiku 可以使用自己的应用服务器。它还可以将计算委托给外部引擎。我们将此过程称为计算下推。

在 Dataiku 中，转换数据集时，您大部分时间都 阿富汗 WhatsApp 号码列表 在处理样本。完成转换后，您可以将这些步骤应用于整个数据集。现在您可以选择最佳计算引擎。它应该与数据存储和您需要执行的操作相匹配。在某些情况下，管理员可以为您设置默认计算引擎。这让您可以专注于设计和运行转换。您不必担心资源选择。

Dataiku 中的计算下推主要有四种形式：

下推计算 Dataiku

您可以在内存中运行计算，也可以在 Dataiku 引擎上流式传输它们。您可以使用此策略来执行 Python 配方。
2. 使用数据库内策略将可视化配方转换为 SQL 查询。然后，SQL 服务器或 Snowflake 等云原生数据仓库将运行您的查询。

3. 您还可以使用 Spark 集群或 Databricks 通过 Spark SQL 查询来推动计算。

4. Docker 和 Kubernetes 集群为 Dataiku 的主机服务器提供了替代方案。这些技术可实现容器化的内存执行。

您的 Dataiku 平台管理员可以配置和管理您的计算引擎。他们可以访问高级配置和权限设置。这使组织能够保护基础设施访问并控制其成本。这保证了资源的有效和安全分配。

因此，Dataiku 允许您将计算推送到您选择的基础设施上。但是，您可以将其多广泛地应用于您的数据准备和 ML 管道？