spring|人工智能如何进行数据管理?( 二 )


2、数据编目;
几十年来 , 公司一直缺乏关于关键数据在其系统和记录中的位置的准确指导 。 幸运的是 , 数据编目在过去几年中出现 , 作为跟踪该材料的重要帮助 。 然而 , 创建并保持此类目录最新是一项劳动密集型工作 。
人工智能可以自动搜索各种数据存储库并自动创建目录 。 人工智能系统可以捕获系统文档中存在的任何元数据 。 人工智能还可以描述数据的沿袭——数据来源、创建者、修改方式以及当前所在位置 。
但是 , 虽然使用 AI 可以更轻松地创建目录和数据沿袭信息 , 但公司仍必须努力解决现有数据环境的混乱问题 。 许多公司拒绝使用传统的劳动密集型方法创建目录 , 因为他们不想揭示架构混乱的程度 , 或者因为他们想等到数据组织得更好、质量更高后再投入大量工作. 然而 , 使用人工智能轻松创建和更新目录意味着公司可以将更轻松的信息访问与持续的数据改进流程结合起来 。
3、数据质量;
数据质量工具本质上是实施控制 , 通常使用业务规则来定义允许数据值的域 。 考虑一个由一天和一个月组成的日期 。 允许值的组合只有 366 种 。 因此 , “Jebruary”不是允许的月份 , “35”不是允许的日期 , “February 31”不是允许的组合 。 定义、编码和更新业务规则尤其繁重 , 而我们在基于机器学习的 AI 中看到了巨大的好处 。
AI 工具可以扫描数据以识别不允许的值 , 一些错误的值会自动更正 , 而其他值则分配给某人或某个组进行更正 。 一些供应商已经吹嘘他们的工具将机器学习用于这些目的 。
AI 还可以执行其他与数据质量相关的功能 , 包括使用来自其他内部或外部数据库的附加信息(在匹配过程之后)扩充数据 , 预测如何填补缺失的数据缺口 , 以及删除重复或很少使用的数据.
重要的是 , 如果供应商支持更主动的数据质量管理方法 , 他们可以改进他们的工具——一种专注于防止数据错误而不是发现和修复错误的方法 。 为此 , 应在尽可能靠近数据创建点的地方应用控件 。 此外 , 工具应使数据质量测量与业务影响密切相关 , 并支持统计过程控制和质量改进 。
4、数据安全;
保护数据安全和隐私是当今任何组织的关键问题 。 自数据保护行业诞生以来 , 防止黑客攻击、数据泄露和拒绝服务在很大程度上一直是人类活动 。
人工智能可以协助完成其中的许多功能 。 例如 , 它在威胁情报方面很有用——观察外部世界;合成威胁信号、参与者和语言;并预测谁可能对谁做什么 。 基于 AI 的威胁情报是对网络安全专业人员面临的众多挑战的回应 , 包括大量威胁行为者、大量看似毫无意义的信息以及熟练专业人员的短缺 。
领先的解决方案采用机器学习来跨多个内部和外部系统自动收集安全数据 , 从非结构化格式创建结构化数据 , 并评估哪些威胁最可信 。 人工智能系统可以根据以前的攻击模式预测可能的攻击路径 , 并确定新威胁是来自以前已知的攻击者还是新威胁 。 考虑到跨多个未连接的安全系统的误报网络安全威胁的数量 , 决策规则和机器学习模型的组合可以对威胁进行优先排序或分类 , 以供人类调查 。
无监督学习系统可以识别组织 IT 环境中的异常情况 , 例如异常访问模式或访问组织系统的罕见 IP 地址 。 这些方法的优点是不需要接受过去的网络安全方法的培训 , 这些方法总是会发生变化 。
AI 还可用于识别欺诈或不遵守法规的内部威胁 。 这种能力对银行业和投资业等受到高度监管的行业特别感兴趣 。 人工智能软件监控组织内的数字通信并识别可疑语言或行为模式 。 当然 , 人工调查对于确认员工或客户的渎职行为是必要的 。