曾在国内外5家大厂做数据库工程师,这是他给出的5大趋势预测

Pine编译自凹非寺量子位|公众号QbitAI出门要健康码 , 买东西用支付码……
什么都可以变成数据 , 近来被追捧的元宇宙甚至告诉我们连人都可以变成数据 。
我们貌似已经习惯了与数据相依存的生活 , 但在未来 , 数据会发展成什么样子 , 你有想过吗?
曾在国内外5家大厂做数据库工程师,这是他给出的5大趋势预测】有30多项机器学习和数据云专利的大佬LuhuiHu发了一篇博客 。
他梳理了数据库的发展以及现状 , 或许从中我们可以洞见数据未来的模样 。
曾在国内外5家大厂做数据库工程师,这是他给出的5大趋势预测
文章图片
一起来看看吧~
数据的探索首先 , 简单了解下数据库 。
一言以蔽之 , 就是能够存储并管理庞杂的数据 。
在过去的30年中 , 作为编程语言、操作系统中必不可少的技术 , 数据库的数量在呈指数级增长 , 已经诞生出数百种不同的数据库 。
典型如SQL到NoSQL和NewSQL 。
曾在国内外5家大厂做数据库工程师,这是他给出的5大趋势预测
文章图片
这些数据库主要进行两项工作:
在线事务处理(OnLineTransactionalProcessing简称:OLTP);
在线分析处理(OnLineAnalyticalProcessing简称:OLAP) 。
早在20世纪60年代早期 , CharlesBachman就开发了第一个数据库 。
起初对于数据库的探索主要集中在数据库查询和它的模型上 , 包括SQL(结构化查询语言)、XML(可扩展标记语言)和面向对象 。
众多数据库在经过10多年的竞争之后 , Oracle、SQLServer和MySQL三个脱颖而出 。
它们凭借结构化查询语言和遵循ACID(原子性、一致性、隔离性、持久性 , 在出现故障的情况下也可以保证数据的有效性) , 几乎主导了商业市场和开源社区 。
然而 , 数据的种类、速度以及数据量在不断增长 , 这对数据库提出了更高的要求 , 这时出现了一种新的数据库:NoSQL 。
不同于传统的数据库 , NoSQL允许部分数据使用SQL系统存储 , 而其他数据则使用NOSQL系统存储 。
除此之外 , NoSQL还首次提出了性能效率、模式灵活性和一些新的功能 , 并且还拥有键值存储、文档数据库、面向列的数据库、图形数据库等 。
但由于NoSQL数据库在遵守CAP定理(不能同时满足一致性、可用性、分区容错性)时更注重可用性而非一致性 , 导致许多数据库为了实现最终一致性或非规范化而做出妥协和优化 。
这也恰恰说明了数据库要与时俱进 , 契合当前数据的特点以及人们的需求 。
就比如说NewSQL , 它是一类现代的关系数据库 , 为OLTP工作提供了与NoSQL相同的可扩展性能 , 同时仍然使用SQL并维护传统数据库的ACID保证 。
在数据库的发展过程中 , 还有一个不得不提的东西:数据仓库 。
它是用于数据分析和业务洞察的核心组件 , 但在10年前大数据平台出现之后 , 人们从传统的数据仓库转移到大数据平台 , 它就黯然失色了 。
直到云技术的出现 , 重新赋予给数据仓库新的性能 , 使它具备了可扩展性 , 数据仓库这才再次被人们注意到 。
随着高性能、高可扩展性数据云的出现 , 一个新的数据平台生态系统——现代数据堆栈应运而生 。
云技术通过云托管(半托管甚至完全托管)和云原生两种方式使得数据库自动化或半自动化 。
在这其中 , 云技术具体是怎么操作的呢?
它主要是通过解耦数据库的存储和计算 , 重新定义体系结构 。
并且存储或计算还可以独立扩展 , 提高数据库的效率、性能和灵活性等 。