星际虫王IA退役2年搞AI，现在自叹不如了( 二 ) 金磊发自凹非寺量子位|公众号

这是专门为《星际争霸2》开发的大规模游戏AI分布式训练平台。
目前， DI-star已经在虫族上达到了宗师级别（Grandmaster）水平。
话不多说，来看下IA在直播间放出的结果。
例如在与台湾省职业选手Rex的对战过程中， DI-star靠精细的微操建立前期优势。

文章图片
而与前世界冠军Scarlett的对战中， DI-star能使用出女王前压这样的人类不常见战术出奇制胜。

文章图片
不难看出， DI-star已然在对战过程中的决策层面上开始大放异彩。
那么接下来的一个问题就是：
DI-star是怎么炼成的？IA在直播过程中，也没有对这个问题做任何遮掩，而是直接将重要的步骤“抛”了出来。
从整体来看，主要分为两个过程。
监督学习和强化学习。
首先，就是监督学习。
时间拨回到2020年年初，当DI-star项目正式开始启动时，团队总共也只有三四个人，而IA正式在这个时间以星际2游戏顾问的身份加入商汤。
体验过星际2的玩家都知道，每一场对决都需要经历“采集资源”、“生产单位”和“战斗”的过程。
而三者之间又环环相扣，需得是有足够的智谋，才能做到“运筹帷幄，决胜千里” 。

文章图片
起初，他们经历了一个非常痛苦的解决bug过程，用团队自己的话来描述，就是“几乎训练不出来任何哪怕有正常操作的AI” 。
所以对于DI-star来说，先要做的就是需要去学习，反复观摩人类的高质量对战录像。
为此，商汤X实验室共用到了16万场ZVZ（虫族对虫族）的录像，版本跨度为4.8.2到4.9.3 。
2020年7月，团队的AI终于迎来了与人类的首胜，但对手也只是一位刚学习星际2的研究员。

文章图片
但若仅仅是这般“蹒跚学步” ， DI-star的分数也只是能达到3000多分，离战胜人类顶级玩家的目标遥之甚远。
因此，商汤X实验室认为，关键的第二个过程就是强化学习。
在他们看来：
AI通过监督学习有了基础学习能力之后，需要通过互相之间的大量对战，提升自己的水平。
而在经过大约1亿局的对战后，到了2021年的6月份， DI-star第一次战胜了IA自己。

文章图片
在接下来的时间里， IA就带着“AI版的自己” ，边训练边寻找各大人类国手玩家切磋较量。
于是，就这么一步一步， DI-star最终拥有了能够挑战世界级选手的实力。
整个过程下来，在看着DI-star一点一滴“成长”的过程中，团队也有自己的经验总结：
星际的整个状态空间太大， AI在训练过程中，有很多的局面都是没经历过的，在这些罕见局面就会出现不会应对的情况，所以在与AI对战的过程中，只要你打的天马行空、不按套路出牌就行了。
因此，也可以发现电竞AI研究的难点和重点，一方面是增强AI的泛化能力，做到像人类一样抽象地思考问题；另一方面是希望能够超越人类的认知，做出比人类更优的决策。
但除此之外，这个过程中的两个关键数据还需被放大关注——
“16万场录像”和“1亿局对战” 。
单是从数字上就能体现出AI训练所需要的资源和时间之大了。