Snowflake标志

云数据平台Snowflake于当地时间8日发布“数据自主(data autonomy)”战略,进一步强化开放数据架构与跨平台互操作能力,目标是尽量减少数据迁移,简化治理流程,并提升AI系统访问企业数据的能力。

Snowflake表示,这一战略旨在帮助企业在尽量减少跨平台迁移的前提下,实现对数据的跨平台访问、管理和分析。公司指出,传统架构往往要求企业在不同平台之间迁移数据,不仅会推高运营复杂度、增加安全风险和成本,也会拖累AI工作负载的运行效率。

此次战略的核心之一,是扩大对Apache Iceberg V3的支持。Snowflake介绍称,Iceberg V3支持面向半结构化数据的Variant数据类型、地理空间数据类型、行级血缘追踪、基于删除向量(deletion vector)优化的删除操作以及纳秒级时间戳。相关能力可同时适用于Snowflake托管表和外部Iceberg目录,从而提升数据在不同环境间的可迁移性和可用性。

在数据治理方面,Snowflake也在提升治理规则的可迁移能力。公司借助两年前开源的Apache Polaris,使访问控制、语义上下文等治理规则不再局限于单一平台,而是可以随数据一并迁移。

Snowflake产品管理总监James Rowland-Jones表示,目前若要将应用了细粒度访问控制的数据安全地共享给外部引擎,往往只能通过API将中间结果物化后再共享,“这种方式效率低、成本也高”。他说,Snowflake正试图借助Polaris改变这一局面。

此次发布还涵盖Snowflake于去年11月推出的开源PostgreSQL扩展pg_lake。该扩展可让PostgreSQL数据库在无需ETL管道的情况下,直接查询数据湖中的Parquet、CSV等格式文件,并向Iceberg表写入数据。

此外,Snowflake还支持一系列新的开源标准与规范,包括用于追踪数据流转的OpenLineage,以及用于统一指标、维度等业务定义的Open Semantic Interchange,以帮助AI更好理解数据。

Snowflake表示,过去两年公司已累计向开源项目作出超过9000次贡献,并参与了Iceberg V4的开发。

关键词

#Snowflake #数据自主 #开放数据架构 #跨平台互操作能力 #Apache Iceberg V3 #Apache Polaris #pg_lake #PostgreSQL #OpenLineage #Open Semantic Interchange
版权所有 © DigitalToday。未经授权禁止转载或传播。