图片来源:Databricks

Databricks于当地时间16日发布新一代数据架构LTAP,试图打通事务型数据库与分析系统,以适配AI Agent对近实时数据访问与处理的需求。

在旧金山举行的年度大会Data + AI Summit上,Databricks正式推出Lake Transactional / Analytical Processing(LTAP)架构,并同步发布可实现毫秒级响应的实时分析引擎。公司表示,这一方案无需额外引入独立系统,即可在同一数据底座上支持事务处理与分析。

按照Databricks的说法,LTAP基于数据湖中的同一份数据,同时承载业务处理与分析任务。应用、分析系统以及AI Agent可直接访问同一数据源,从而降低对CDC(Change Data Capture)管道、ETL(Extract、Transform、Load,抽取、转换、加载)流程以及数据副本的依赖。

Databricks认为,随着AI Agent开始承担读取、分析并执行数据相关任务的工作,传统的数据架构正越来越难以满足需求。SiliconANGLE援引Databricks产品管理副总裁Shanku Niyogi的话称:“Agent必须比人更快地分析数据并执行动作,这正在让数据技术栈成为瓶颈。”

长期以来,企业通常将事务处理和分析处理分置于不同系统中运行:业务应用先将数据写入事务数据库,再由分析系统通过ETL和CDC管道获取数据副本。Databricks指出,这种架构不仅带来时延,也会增加系统复杂度和治理难度,而随着AI应用增多,这些问题还会进一步放大。

Niyogi透露,一家大型银行客户目前运行着数十万个PostgreSQL数据库,并通过各自的CDC管道将数据导入数据湖。

LTAP建立在Databricks去年推出的数据库平台Lakebase之上。该平台可将事务数据直接写入Delta Lake、Apache Iceberg等开放的列式数据格式,同时保持与PostgreSQL的兼容性。

Databricks还发布了实时分析引擎Lakehouse/RT。公司称,该产品基于新的执行引擎Rhyton,可将小规模任务的最低响应时间降至10毫秒,大规模任务的响应时间控制在100毫秒以内。

Databricks表示,LTAP将作为升级能力向Lakebase客户提供。Lakehouse/RT目前已进入Beta测试阶段,现有Lakehouse客户可在当前订阅下使用。

关键词

#Databricks #LTAP #事务数据库 #实时分析 #AI Agent #数据湖 #CDC #ETL #Lakebase #Lakehouse/RT
版权所有 © DigitalToday。未经授权禁止转载或传播。