想知道哪些RL技术用在了增材制造中，不妨看下这篇文章机器之心分析师网络作者：W

机器之心分析师网络
作者：WuJiying
编辑：H4O
本文作者结合三篇近期的研究论文，简述了在增材制造（3D打印）领域中强化学习方法的应用。增材制造通过降低模具成本、减少材料、减少装配、减少研发周期等优势来降低企业制造成本，提高生产效益。因此，增材制造代表了生产模式和先进制造技术发展的趋势。
0
引言
我们在这篇文章中讨论一个加工制造领域的问题：增材制造（AdditiveManufacturing ， AM）。增材制造（AdditiveManufacturing ， AM）俗称3D打印（3DPrinting），是一种融合了计算机辅助设计（Computer-aideddesign ， CAD）、材料加工与成型技术，以数字模型文件为基础，通过软件与数控系统将专用的金属材料、非金属材料以及医用生物材料，按照挤压、烧结、熔融、光固化、喷射等方式逐层堆积，制造出实体物品的制造技术[1] 。相对于传统的减材制造（SubtractiveManufacturing）技术，增材制造是现代工业范式的一种有效的数字方法，已经在全世界范围内得到了广泛的关注。增材制造通过离散-堆积使材料逐点逐层累积叠加形成三维实体，具有快速成形、任意成型等特点。
通过利用3D计算机辅助设计模型逐层累积叠加制造物体，增材制造具有以下优点[2]：（1）它能创造出具有复杂形状的产品，例如拓扑优化结构，这些产品利用传统的铸造或锻造工艺是很难实现的；（2）它可以用于生成材料的新特性，如位错网络（dislocationnetworks）[2] ，这对于学术研究人员来说是非常有意义的；（3）它能够减少材料浪费，能够为工业生成节省成本。不过增材制造本身还存在一些问题，与传统的通过减材制造技术生成的铸造和锻造零件中出现的缺陷不同， AM零件中存在的缺陷包括：由于缺乏融合和气体夹带而产生的孔隙，相对于印刷方向的垂直和平行方向的严重各向异性的微观结构，以及由于高冷却速度和大温度梯度的巨大残余应力而导致产生的变形等。因此，更好地理解粉末的冶金参数、印刷工艺以及AM零件的微观结构和机械性能之间的复杂关系至关重要，也是推广应用增材制造技术的关键。
增材制造涵盖了多种成形方式，有激光增材制造（LaserAdditiveManufacturing ， LAM）、电子束增材制造（Electronbeamadditivemanufacturing ， EBM）以及电弧增材制造（WireArcAdditiveManufacture ， WAAM）等粉末床熔成型（PowderBedFusion ， PBF）方法，还有黏合剂喷射（Binderjetting ， BJ）、熔融沉积式（FusedDepositionModeling ， FDM）材料挤出成型方法等。其中， LAM是目前应用比较多的工艺，已经应用于一些结构复杂、尺寸较小、表面精度高的零部件打印中。但是，一些定制大尺寸、强度高的零部件不适于用LAM成形。针对这些更大型、性能要求更高的零部件， WAAM则是首选。作为示例，具体的粉末床熔成型AM技术路线分类图如图1所示[4] 。

文章图片
图1.AM技术分类[4]
我们在这篇文章中，并不具体探讨AM技术中存在的问题与改进方式，而是聚焦于强化学习（ReinforcementLearning）在AM中的应用。近年来，强化学习已经成为解决相对高维空间中复杂控制场景的一种有效方法，并应用于不同的场景中。其中，深度强化学习（DeepRL ， DRL）是一种深度学习方法，它通过收集模拟环境中的经验和反馈，反复改进最初的随机控制策略。强化学习算法在解决未知工艺参数和动态变化的条件方面显示出巨大的优势，因为它们能够利用更丰富的信息来告知决策过程。在增材制造领域中， RL也可用于构建复杂的控制策略以解决缺陷形成问题，以及多材料复合过程的过程质量监控、学习-纠偏、多设备调度等问题。