meta|数据服务大时代,端到端数据战略给市场带来了什么?( 二 )


最后 , 亚马逊云科技认为需要工具和教育实现数据普惠化 。 事实上 , 数据消费群体持续扩大是大势所趋 , 但数据消费者的技能也是把数据“用起来”的关键 。 亚马逊云科技预计到2029年 , 人工智能劳动力将增加100万个工作岗位 , 但培育合适的技能和人选来填补这些空缺将是一项重大挑战 。
为此 , 亚马逊云科技正在帮助社区学院和 MSIs 加大教育力度 , 推出新的亚马逊云科技机器学习大学教育培训计划 , 提供动手培训课程 , 为培育新一代劳动力做好准备 。
可以看出 , 在今年2022 re:Invent全球大会上 , 亚马逊云科技除了发布大量针对数据的产品与功能之外 , 也开始用端到端的视角推出数据战略 , 给予用户们更加清晰的数据“用起来”的思路 。
让数据服务走向简单化众所周知 , 数据服务与价值实现的链路很长 , 且具有相当的复杂性 。 因此 , 端到端的数据战略是大势所趋 。 但端到端的数据战略并不是简单的将众多数据服务、工具和产品进行拼凑与集成 , 而是需要深度整合、优化 , 实现使用体验与效率质的飞跃 。
在亚马逊云科技看来 , 数据服务需要恰当的工具、有效的数据集成、规范数据治理以及深入的业务洞察力 。 因此 , 亚马逊云科技的思路是:
一方面是持续打造有竞争力的数据工具与服务 , 不断完善产品的功能;另一方面 , 则从使用者的角度出发 , 让数据服务走向深度集成化、简单化 , 让端到端的数据服务真正有效果 。
“从本次re:Invent发布的特性看未来技术演进的方向 , 非常明显的一点就是数智融合 , 也就是如何打造一个端到端的数据服务战略 。 ”亚马逊云科技大中华区产品部总经理陈晓建如是说 。
例如 , 亚马逊云科技在今年2022 re:Invent全球大会上提出了 Amazon OpenSearch Serverless 版本、Amazon Aurora与 Amazon Redshift 的 Zero-ETL(提取、转换和加载)集成、Amazon Redshift 与 Apache Spark 集成、精细的数据管理产品 Amazon DataZone、Amzon Quicksight Q 预测服务等一系列与数据相关的服务 。


以Zero-ETL为例 , 亚马逊云科技推出的Zero-ETL(提取、转换和加载)集成服务极具价值与意义 。 众所周知 , 过去的数据治理与应用体系严重依赖ETL 。 Gartner调研数据显示:分析师80%的时间用于发现和准备数据 , 知识型员工将50%的时间浪费在寻找数据、发现和纠正错误以及确认不信任的数据来源上 , 数据科学家花60%的时间清理和组织数据 。
当数据规模远胜以往之后 , 依赖ETL的方式就容易数据的供给侧与使用侧极大的效率问题 , 因此Zero-ETL成为大势所趋 , 通过Zero-ETL简化杂ETL链路 , 实现敏捷数据洞察和高效一致的数据协作 。
例如 , Amazon Aurora 将首次支持与 Amazon Redshift 的 Zero-ETL(提取、转换和加载)集成 , 将事务数据与分析功能结合在一起 , 消除了在 Aurora 和 Redshift 之间构建和管理自定义数据管道的所有工作 。 用户不必构建和维护复杂的数据管道来执行提取、转换和加载(ETL)操作 。
又如 , 数据爆炸性增长为数据治理带来了前所未有的复杂度 。 数据治理涉及到不同的团队、应用和权限管理 , 使得细颗粒度的数据管理成为当前的强需求 。 因此 , 亚马逊云科技打造出 Amazon DataZone , 用于分类、发现、共享和管理数据的数据管理服务 , 可以集成 Redshift、Athena 和 QuickSight , 以及对第三方数据源提供 API 接口 , 可实现细粒度数据管理 , 其中包含由机器学习填充的数据目录 , 易于使用业务术语进行搜索 。
在亚马逊云科技看来 , DataZone可以使数据工程师、数据科学家、产品经理、分析师和其他业务用户能够轻松地发现、使用和协作数据 。