中国自主的数据库评测,是如何开展的?( 二 )


因为测试类别的不同 , 现场测试时间一般会在3天到2周之间浮动 。 测试过程中 , 信通院会有测试工程师全程参与 , 而被测方的产业负责人、测试人员等均会全程参与 。 虽然有部分企业反映测试时间紧张 , 但时间问题也是信通院技术专家的关注重点 。 在测试开始前 , 信通院专家会与企业一起讨论测评时间的设计 。 信通院的工程师也会在正式测试前 , 进行模拟和试验 , 验证时间的合理性 。
这也说明该测试仍然是有相当难度的 , 采访中 , 马鹏玮表示:“只有执行资源不是完全充裕的任务 , 才能考验一个人的能力水平 。 如果测试时间每家企业都十分充裕 , 那估计每家企业都有充足的时间研究怎么去考满分 , 测评也就失去了意义 。 ”
“全面”与“公平公正” , 是评测的重点
此前的业内数据库评测 , 一般针对某一类数据库产品的某一项功能 , 或某个场景下的性能进行评测 , 作为行业参考可能是有失偏颇的 。 所以 , 信通院数据库评测在整体设计上 , 首要解决的是“全面评测”的问题 。
反映在具体的测试方法上 , 就像前文提到的 , 一是涵盖的数据库类型全面;二是针对某一数据库产品 , 测试的维度全面 。
“公平公正”则是打造评测标准体系的另一个要点 。 信通院是基于国家要求的测评质量流程执行测试 , 在前期会对测试人员的知识体系进行标准化培训 。 在测试环境和工具方面 , 信通院选择自建机房、自研测试工具 , 统一了软硬件环境 , 同时也消除了作弊的空间 。 相关工具也会提供给应用方长期使用 , 以保证测试公正透明 。
而具体的测试标准和方法 , 则是由信通院和业内头部应用方和供应商(四大行、HBAT等)共同讨论形成 , 讨论时间可长达半年以上 。 测试完成后 , 产业专家会对测试结果进行评审 , 保证结果真实可信 。 信通院也会将非敏感信息对外公开 , 接受整个产业的监督 。
当然 , 从实际测试过程来看 , 专家评审结论一般与现场测试结果基本一致 。 于评审专家而言 , 更多的工作可能是在保证测试结果准确性的同时 , 也针对供应商的产品情况提出一些优化意见 , 帮助供应商更好的成长 。
从测试结果看国产数据库发展情况
“全面”、“公平公正”的理念 , 无疑也得到了相当多企业的认可 , 在最近的一次数据库评测(第十三批评测)中 , 来自不同公司的八十余款数据库产品通过了基础能力评测 , 几乎覆盖了国产数据库的“半壁江山” 。
针对测评的结果 , 我们也能看到一些有意思的现象 。 比如 , 中小企业参评的比重在增多 , 与资本市场的反馈互相验证;海量异构数据处理需求正在推动数据存储技术快速发展 , 比如 , 以图数据库、键值数据库为代表的新型数据存储产品较前几批测试有了较大的增长;各家数据库之间 , 产品能力的差异正逐渐扩大 , 可选项通过率低至50.23% 。
如果将国外数据产品也纳入考虑 , 这些趋势会更有意思 。
马鹏玮分享道:
“从产品能力看 , 我国部分产品的功能、性能已经超越了国外数据库产品 , 有很多的数据、案例均说明了这一点 。 但是我们不能因为这些就说我们处于领先地位 。 因为国外数据库真正强大的地方在于其他方面 。 一是他们有非常完备的渠道体系 , 这就保证了他们可以用自己的力量或合作伙伴的力量 , 随时响应甲方的需求;二是他们有非常丰富的人才储备 。 因为数据库在部署后 , 还是需要人去运维的 , 甲方可以很容易的在市场上招到能运维国外数据库产品的人才 , 但是国产的就很难找 。 ”