抖音的AI速度:平均每天上线超过100个新特效

作者:李泽南
在抖音 , 平均每五个视频投稿中就有一个使用特效 , 它已成为深受人们喜爱的表达方式 。
随着AI算法的进步 , 手机短视频App上的特效越来越花哨 , 各种换脸、美颜应用层出不穷 。 去年6月 , 抖音推出了一款「变身漫画」的特效 , 引来各路明星和广大抖音用户争相体验 , 纷纷Po出了自己的漫画形象 。 漫画特效成为了当年的爆款 , 近1700万用户尝试使用 , 视频的播放量更是达到几十亿次 。
在抖音的App上 , 用户只需轻轻一挥手就可以生成自己的实时漫画形象 , 从五官到发型、衣着 , 都实现了精准的转换 。
抖音的AI速度:平均每天上线超过100个新特效
文章图片
打开特效 , 欧阳娜娜与她的猫咪都变身为高萌漫画形象 。
一年多过去了 , 抖音又推出了哪些好玩的特效?在7月28日抖音与火山引擎联合举办的「智能特效」技术开放日上 , 抖音工程师们向我们进行了一番介绍 。 除了面向普通用户的工具 , 字节跳动还将最新的AI技术开放给了其他厂商 , 并鼓励CG设计师加入制作原创互动内容的行列 。
在活动中 , 抖发布了第一份《抖音特效数据报告》 , 向公众首次展示了其在特效应用领域的技术进展和落地情况:2021上半年 , 抖音平台平均每天上线超过100个新款特效 , 平均每五个投稿中就有一个使用特效 。
抖音的AI速度:平均每天上线超过100个新特效
文章图片
打造这些特效的是火山引擎、抖音特效团队和无数活跃在抖音中的特效设计师 。
抖音特效的蜕变史
想给视频加个特技 , 其实并不简单 , 抖音在2016年主要还在依靠平面设计和第三方技术实现特效 。 到2017年 , 字节跳动组建了特效团队开始自研技术 。 「作出决定的原因是我们发现特效道具贴纸的出现 , 可以鼓励用户投稿 , 」抖音设计中心负责人王运恢介绍道 。 在当年 , 抖音就推出了狗头贴纸这个爆款产品 。
很快 , 抖音特效团队使用的技术就从传统CG升级到深度学习 。 2018年 , 抖音推出的控雨特效成为爆款 。 而在最近一段时间里 , 这样的爆款越来越多 , 特效团队也已经发展到了几百人规模 。
正如人们所见 , 最近抖音上的热门是漫画脸特效 , 很多明星自发地使用了漫画脸 , 用户生成的漫画脸照片甚至成为了他们的社交账号头像 。
这款产品结合了人工智能领域里流行的GAN技术 。 「我们第一次接触GAN是在一次内部的技术分享会上 , 」王运恢说道 。 「这种技术带来的创意很好 , 但在实践中遇到了一些困难——最初效果距离实用的程度相去甚远 , 用艺术形式来比喻的话应该是抽象派 。 为了终能够在抖音里上线 , 整个团队最终决定以漫画风格迁移为方向 。 」
抖音特效团队几乎筛选了所有漫画风格 , 最后确立的风格包含多个元素 , 融合了日漫、国漫和韩漫 。 它的细节丰富 , 颜色通透 , 最重要的是形象更加阳光 。
选完风格之后 , 工程师们引入算法模型 , 连续进行了两个多月的模型优化 , 更新迭代了超过1000个版本 。 最忙碌的时候同时使用了数百块显卡同时跑模型 。
最终 , 在2020年6月上线的漫画脸特效仅用三天就收获了上千万的投稿 , 成为了抖音特效的一个里程碑 。
抖音的AI速度:平均每天上线超过100个新特效
文章图片
据统计 , 仅2021年上半年就有超过8000万用户第一次在抖音投稿中使用了特效 。
现在 , 抖音推出的特效覆盖装饰、互动、风格及场景四大类 , 还在帮助非物质文化遗产的传播 , 推出了戏曲头饰、京剧、越剧小生、川剧变脸等效果 。 在西安钟楼、重庆洪崖洞 , 北京三里屯等地标 , 人们还可以打开手机摄像头 , 观看AR装饰效果 。