来玩!电脑端的手势姿态估计,隔空写字、绘图,有摄像头就行( 二 )


文章图片
在网友表达惊喜的同时 , 也有人提出了自己的疑惑 。 项目作者在reddit上对部分网友的的疑问进行解答 , 我们列举其中一部分 。
有网友表示 , 这是一个不错的项目 , 并有疑问——RNN是从头开始训练的 , 还是在预训练模型的基础上进行微调的?
作者表示:「模型是从头开始训练的 , 但使用预训练模型可能是一个不错的建议 。 」
来玩!电脑端的手势姿态估计,隔空写字、绘图,有摄像头就行
文章图片
还有网友提问:「预测是实时的吗?那样的话 , 这将是一个真正的魔法 。 」
作者表示 , 预测是实时的 。 但遗憾的是 , 实时性能不是很好 , 所以必须使用双向LSTM 。
来玩!电脑端的手势姿态估计,隔空写字、绘图,有摄像头就行
文章图片
还有网友建议「使用transformer可以获得更好的性能」 。
对于这个建议 , 作者表示自己曾尝试过自注意力层 , 但是结果并不理想 。 如果有一个更大数据集的话 , 采用transformer效果会更好 。
来玩!电脑端的手势姿态估计,隔空写字、绘图,有摄像头就行
文章图片
参考链接:
来玩!电脑端的手势姿态估计,隔空写字、绘图,有摄像头就行】https://www.reddit.com/r/MachineLearning/comments/pmqtj9/p_using_deep_learning_to_draw_and_write_with_your/