理论用于实践！华为配置管理研究获SIGCOMM 2022最佳论文奖( 五 ) 机器之心专栏机器之心编辑部

在配置语义编码部分， NAssim映射器采用了state-of-the-art的语义编码器BERT 。对于一个自然语言描述的文本序列， BERT基于Transformer架构输出其在向量空间的嵌入表征。由于不同配置模型可以提取不同数量的配置语义上下文，因此NAssim映射器会使用BERT对每个信息进行单独编码，输出嵌入向量矩阵。
在配置语义相似度计算和映射部分，对于来自不同配置模型上的一对配置参数项， NAssim映射器衡量它们对应的嵌入向量矩阵的行式余弦相似度来计算其配置语义相似度，进一步通过配置语义相似度排序来进行映射推荐。
NAssim映射器的核心是通过对预训练模型SBERT进行网络配置领域适应后得到的配置语义理解AI模型NetBERT 。 SBERT是基于BERT的孪生网络，并在大型自然语言推理数据集上，以句子匹配度为目标进行训练。 SBERT可以把语义相似的自然语言文本映射到向量空间里相近的向量。但是对于训练语料中未出现的领域，比如网络配置描述，模型的效果会打折扣。因此， NAssim映射器利用运维工程团队过去人工积累的设备配置模型和控制器统一配置模型的映射数据（正样本），结合负样本采样技术，生成网络配置领域的小型数据集，对SBERT进行网络配置领域自适应调优得到NetBERT模型。 NetBERT基于配置语义进行推理和映射，输出异构配置模型之间的映射推荐，运维专家可进一步审阅确认，提升运维效率。

文章图片
评估实验
在评估部分，研究者分别评估了NAssim在SNA的两个阶段的表现，一是厂商设备配置模型构建阶段（VDMConstructionPhase）的有效性和可靠性，二是配置模型映射阶段（VDM-UDMMappingPhase）的准确性。
在第一阶段的评估中，研究者展示了基于四个主流设备商（华为、思科、诺基亚/阿朗、华三）的配置手册，使用NAssim解析器+校验器构建设备原生配置模型的实践经验。实验详细结果如下表4.
实验结果表明， NAssim解析器框架+校验器可以成功从四个主流设备商的配置手册中构建出精确可靠的设备配置模型。在构建过程中，校验器识别出配置手册中超过200个歧义性错误。

文章图片
在第二阶段的评估中，研究者以topk召回率（recall@topk）为指标评估NAssim映射器进行配置映射推荐的效果，即正确映射在前k个推荐项中出现的百分比。 k值越小时召回率越高代表推荐的配置映射效果越好。实验详细结果如下表5.
实验中采用了如下基线模型：（1）IR：基于信息检索（informationretrieval）的映射方式，研究者选取了其中最为经典的TF-IDF方法。（2）SBERT
（3）SimCSE（4）IR+DL：复合模型，先采用IR方法进行top50粗筛，之后使用深度学习模型进行细粒度的配置语义相似度计算和排序。
实验结果表明，经过配置领域适应的NetBERT模型结合IR粗筛达到了最佳的配置映射推荐效果。在映射华为设备的配置模型到控制器统一配置模型的实验中， recall@top10为89% ，这意味着如果允许推荐10个映射，则只有11%的情况下，运维工程师需要去翻阅配置手册，提升了9倍运维工程师效率。

文章图片
更多细节内容请阅读原论文。

文章图片