“云原生数据湖的探索和实践：当汇量科技 EnginePlus 团队来到阿里云峰会”

本篇文章2181字，读完约5分钟

从人工智能到大数据、云计算，新技术的革命无处不在，不仅深刻地改变着我们的日常生活，也成为了产业数字化转型的必由之路。 目前，中国人工智能核心产业规模超过千亿元，全国使用的数据中心机架总数近400万架，大型以上数据中心超过250个。

在数字浪潮汹涌而来的情况下，转型中的公司如何识别方向，找到最适合自己的线索和方案？

5月28日，“2021阿里巴巴云峰会”在北京开幕。 此次峰会以“云上创新”为主题，Alibaba云与众多嘉宾、合作伙伴共同探讨公司数字创新的新思路、新战略、新产品、新方案，实现“云上创新”的全景

在28日下午举行的“全链接数据服务-大数据与ai论坛”分科会上，mobvista )高级算法设计师engineplus产品负责人陈绪应邀演讲，邀请嘉宾与云原生数据湖的 介绍了汇量自研开源数据湖框架starlake和新一代“一站式云原生大数据ai平台”

从数据仓库到湖仓一体:数据观察架构的发展

随着公司业务的迅速扩张，派生数据量面临爆炸式增长，公司对数据解决解体的诉求越来越迫切。 在这种背景下，企业需要创新技术和计划来应对数据智能解决的挑战。

陈绪说，云母语数据观察架构从以前开始就经历了数仓、数据湖、以及湖仓一体的演化。

汇量科技高级算法架构师、engineplus产品负责人陈绪发表了演讲

以前流传下来的数据仓库强调结构化数据，在现在的互联网APP通信中，会引起建模复杂、流批结构多、结构复杂等一系列问题，以前流传下来的hive等方案也是云固有的 在这样的背景下，数据湖应运而生。

数据湖处理了数仓的部分问题，如非结构化数据的解决、流批处理一体化等，并且云上的元数据和对象存储能力也在不断地演化和优化。 在oss的支持下，更好地实现了计算和存储的分离，扩展了数据湖的能力。

因此，数据湖和数据仓库的功能进一步整合，成为当前的趋势。

陈绪表示，从业务角度看，理想的湖仓一体以数据湖为“基础”，具备元数据管理的可扩展性，并优化了目标存储的访问性能，进而优化了宽表的实时多流能力，最终实现了分解

starlake :汇量科技自研开源数据湖框架

为了在互联网业务中实践数据湖和湖仓一体化，研究开发和开源数据湖框架starlake，实现大数据的实时采集和更新，有效构建湖仓一体化拆解平台，解决开发者的云和数据解决问题。

据介绍，与开源同类数据湖框架相比，starlake具有以下优势。

1、支持多级分区和range、hash两种分区模式，在upsert场景中有明显的性能提升，能够支持实时的宽表能力；

2、使用分布式数据库实现元数据管理，在扩展能力方面进一步提高；

3、比较存储的专业优化:通过改写文件分析层与存储层融合，实现计算和io的并行化

4、并支持写入时复制和读取合并模式，支持高并发写入能力；

5、将元数据、分区规则等进一步降低到计算引擎层，优化连接算子，提高查询的分解性能。

陈绪认为，在汇率技术上，starlake数据湖框架不是“单兵作战”，而是作为新一代一站式云原生大数据ai平台engineplus的一部分，在云原生框架下，为公司服务。

引擎加:新一代一站式云本机大数据ai平台

在engineplus平台上，starlake数据湖提供了高效的数据采集、分解和计算的“基础”，并且无缝对接了自我研究汇款技术的开源机器学习框架mindalpha

engineplus融合创新了大数据、云计算、人工智能等新闻技术，实现了数据采集、数据计算、模型训练、在线预测的一站式闭环，提高了客户解决数据的效率和精度 在大规模业务的生产验证下，engineplus兼具高速访问、简单易用、高性能、高稳定性等优势。

陈绪表示，典型的个性化算法业务场景中存在多个实时流，包括客户数据流、item数据流、交互数据流、离线数据流等，并称为starlake数据流

通过与oss提供给数据湖的存储能力相结合，可以构建实时化的宽表。 在这个过程中，基本上消除了以前流传的数仓建模和etl过程，然后可以分解，对接bi和ai的计算。

这使业务流程更加敏捷，大大简化了数据体系结构。 据悉，该框架已在广告、电子商务、风力发电等场合采用。

在数据湖的场景中，云商产品会去哪里？

作为云的原生数据湖的深顾客，集中技术业务的观点，共享了starlake数据湖框架的架构实践。 从架构的角度，对比数据湖的场景，汇率技术希望未来的云厂商在产品功能方面有怎样的快速发展？

在演讲后的圆桌讨论环节中，陈绪提出，从网络业务和云原生架构的角度来看“湖仓一体”的发展，未来将成为应用场景和基础架构融合的“co-design”趋势。

陈绪认为，engineplus的数据湖组件starlake需要根据业务场景和云中面向对象的存储的需求进行新的融合设计，这也是新的“合作设计”； 在湖仓一体化的趋势中，还可以看到对象存储和APP层的融合。 例如，最近oss推出的加速器功能很好。 未来，云厂商可以在目标存储上进一步提高元数据管理、一致性、并发吞吐量等能力，更好地支持各类实时数据观察场景，在湖上进一步统一数据观察体系，将是一个非常有意义的趋势。

陈绪是圆桌会议的一环

随着新领域的快速发展趋势，公司期望实现新一代数据智能开发、解放业务生产力，构成更加美丽的“云上创新”全景图。