从离线到实时对客,湖仓一体释放全量数据价值( 二 )


从离线到实时对客,湖仓一体释放全量数据价值
文章图片
查询更实时 , 所有数据可毫秒级访问 。 面向结构化数据 , SequoiaDBv5.2版本提供深度的Join优化及列存微分区技术 , 在多个查询场景下 , 性能达到了毫秒级实时返回;分析场景中 , 性能更获得了10倍以上提升 , 让数据湖的查询分析更实时 。
存取更实时 , 吞吐量提升30%以上 。 面向非结构化数据 , 巨杉通过「分片并发」及「可变分区大小」的技术 , 相比原有版本 , SequoiaDBv5.2版本吞吐量提升30%以上 , 让数据湖的非结构化数据存取更实时 。
诊断更实时 , 业务问题分钟级定位 。 发布会上 , 巨杉数据库发布SAC运维管理工具的重要特性更新 , 运行监控方面提供了全GUI的性能及故障分析能力 , SAC基于分布式架构的实时诊断 , 可实现业务问题分钟级定位 。
全量数据生命周期管理 , 提升人效及能效 。 部署架构方面 , 支持多配置硬件的混合部署 , 针对高并发数据与低并发数据 , 做到按需调度;面向横跨结构化、非结构化数据 , 提供一体化的开发及管理能力 , 提升人效及能效 , 在成本可控的前提下 , 实现全量数据实时可用 。
技术迭代互补 , 而非替代
巨杉数据库深耕第三代分布式数据库技术 , 我们认为分布式数据库的星辰大海 , 绝不仅限于对交易核心数据库的替代 。 SequoiaDB的「湖仓一体」是从「多模数据湖」、「实时数据湖」结合「实时数仓」发展而来 , 为客户提供「数据核心」所需的全量数据存储 , 实时对客服务 , 及基于统一数据源的分析能力 , 充分激活客户的离线数据 。 SequoiaDB正通过湖仓一体架构提供面向多模、实时、分析的需求 , 与各类集中式及分布式交易核心数据库成为上下游合作伙伴 , 驱动数字化业务创新 , 释放全量数据价值 。
从离线到实时对客,湖仓一体释放全量数据价值
文章图片
60年前诞生的第一代数据湖 , 以网格型、层次型数据库为代表 , 至今还有不少企业依然在使用;第二代数据库 , 以处理交易核心业务的关系型数据库为代表 , 是当前业界的主流 。 第一、第二代数据库大都基于集中式架构 , 因架构、数据结构的限制 , 导致大量的数据产生后 , 无法对业务流水、用户过程数据等全量数据做保存沉淀 。 往往需要将全量数据异步导出到大数据等后端平台 , 无法提供给终端用户实时查询分析 , 成为了仅对内部使用的离线数据 , 难以满足终端用户实时查询需求 。
从离线到实时对客,湖仓一体释放全量数据价值
文章图片
巨杉数据库SequoiaDB通过基于「湖仓一体」架构 , 支撑企业的「数据核心」 。 从企业多个「交易核心」数据库所产生的业务流水数据 , 可以以流式入湖的方式 , 秒级汇聚到SequoiaDB形成全量数据底座 。
实时数据湖:为不同业务的跨系统查询 , 或多年流水数据获取 , 提供高并发的实时查询能力 , 所有数据实时可得 。 相比原来跨多系统进行数据异构访问的方式 , SequoiaDB协助客户将业务响应时间从分钟、小时级延迟 , 到秒级延迟的改变 , 让用户满意度获得大幅提升 。
多模数据湖:为影像系统、远程银行等需要大量管理非结构化数据的系统 , 提供多模数据湖技术重点优化非结构化对象数据的高并发实时存取能力 , 实现跨多数据类型的一体化管理 , 提升研发及运维的“人效” 。
实时数仓:在数据湖内提供高性能分析引擎 , 可以协助企业基于准确而且统一的数据源 , 进行数据的实时探索及分析、统计、加工 , 降低数据再次流动的开销 , 提升数据处理“能效” , 构建绿色低碳的数据基础设施 。