Nol Universe首席技术官(CTO)Kim Youngjin 4月1日在云数据平台公司Databricks举办的“AI Days Seoul”主题演讲中,介绍了公司在大规模数据利用方面的实践,以及未来建设全球数据平台的规划。
Kim Youngjin表示,Nol Universe依托1300万会员,在住宿、航空、休闲和娱乐等领域积累了大量数据,并正借助Databricks加快释放数据价值。
他介绍称,公司管理层一直支持以数据驱动决策,但在实际运营中,业务团队仍面临数据获取不够便捷、数据孤岛难以消除等问题。
在与Databricks共同开展诊断后,团队将核心痛点归纳为三类:一是面对海量数据时,所需数据难以快速找到;二是难以判断数据是否可信、是否可直接使用;三是住宿、航空、休闲等多条业务线数据彼此分散,跨业务查看和使用链路复杂。因此,业务部门往往需要向专家提出请求,并等待数天才能获得所需支持。
为解决这些问题,Nol Universe搭建了集中式特征仓库“Lynx”。Kim Youngjin表示,该项目主要围绕四个方向展开:让团队成员都能生产并共享数据资产;所有开发流程均经过代码评审并纳入统一治理;建立统一的数据检索入口;实现特征从生产到部署、管理的全流程自动化。
他指出,这一思路并非只把Databricks当作分析工具使用,而是将其作为完整的数据平台来建设。
Kim Youngjin还介绍,在引入特征仓库之前,数据湖、基于Presto的查询引擎、基于Airflow的数据任务调度器、基于Data Hub的数据目录以及基于Jupyter的笔记本环境彼此独立运行,系统之间联通不畅,运维管理也较为复杂。在相关能力整合至Databricks之后,整体开发效率明显提升。
目前,特征仓库已在业务层面产生实际成效。Kim Youngjin表示,基于Lynx中的特征构建的用户分群平台已经应用于营销和个性化服务。以往需要向数据分析师提报需求、等待数日才能完成的定向投放,如今通过简单操作即可完成。
他同时强调,公司下一阶段的数据战略将聚焦于构建覆盖Yanolja集团的全球数据平台。该计划旨在连接分布于以色列特拉维夫、印度、美国、巴西等地的集团公司数据。目前,Nol Universe正推进基于Databricks的全球Data Mesh建设项目,并计划借助数据与AI打造“无论身处何地旅行,都能更加轻松、更有乐趣”的体验。