通过卫星图像预测区域内降雨范围和降雨量( 二 ) 使用从MeteomaticsAPI提取的卫星图

我们从Lightly下载图像，现在我们准备进行一些机器学习。
卷积神经网络是一类应用于计算机视觉的人工神经网络。他们的共享权重架构使他们能够有效地处理图像数据并轻松检测相关特征。卫星图像非常适合使用神经网络进行训练。因为输入图像的范围相当有限，可能的原因是卫星总是处于大致相同的高度，因此物体总是以相似的比例出现。
语义分割是为图像的每个像素分配标签的任务。例如，在自动驾驶中，算法通常必须了解图像的哪些像素代表汽车、行人、骑自行车的人、停车标志等。为语义分割设计的典型神经网络架构是UNet（见下图）。在这里，输入图像通过卷积层的金字塔转换为密集向量，然后通过一系列反卷积层再次扩展为图像的原始形状。此外，共享卷积层和反卷积层的特征以获得输入图像的全局视图。

文章图片
对于此任务，我们使用了Efficient（或ENet）的神经网络作为基础架构。我们使用它提取特征，然后用Unet进行分割。
为了将预测降水量的任务构建为语义分割问题，我们根据五分钟时间跨度内以毫米为单位的降水量将输出空间分为以下几类：
未标记（如果存在，则掩盖图像的一部分）0.00mm（无雨）0.04mm—0.07mm0.07mm—0.15mm0.15mm—0.30mm0.30mm—0.60mm0.60mm—1.20mm1.20mm—2.40mm2.40mm—4.80mm>4.80mm除了更改输入的高度和宽度以匹配图像的分辨率(600x800)外，我们使用默认设置训练神经网络。在NVIDIATeslaP100上的完整数据集上训练100个epoch大约需要1.6小时。如果从上面对精选数据集进行训练，我们能够将训练时间减少50%以上。
下面的表1显示了在训练数据集（欧洲）和测试数据集（北美）上的不同类别的预测的IoU（交集）。

文章图片
训练集(欧洲)和测试集(北美)上不同预测类的并集交叉(IoU) 。注意，对于这类分割任务， IoU是一个次优度量。
正如数字所示，该模型学会了以非常高的准确度区分“下雨”和“不下雨” 。不幸的是，精度随着降水量的增加而迅速下降。这可能是因为大量降雨的地区的可用数据比较少（数据不平衡）。表中的数字可能表明该模型的性能相当差。其实这种情况并非如此。下一步就是人肉检查我们模型所做的预测，他们的结论是该模型非常准确——尤其是考虑到它所需的数据量很少。为了让您更好地理解算法所做的预测，我们将向您介绍Meteomatics用于进行视觉检查的一些示例。
下图显示了红外图像、真值以及我们的算法对欧洲天气情况（训练集）所做的预测。我们可以立即看到预测的形状非常准确。但是我们观察到模型预测高降水量的像素数量（以红色显示）相当低。这是不平衡数据集的典型示例，收集更多高降水数据可能会解决问题。同样值得注意的是，该模型无法准确预测真实数据的细粒度细节。这只能通过提高分辨率来解决。

文章图片
来自训练数据集的缩放示例的不同波长的输入红外图像（左）、模型输出（右上）和实际值（右下）。
第二张图显示了红外图像、真值以及我们的算法对北美天气情况（测试集）所做的预测。与训练集中的情况类似，我们可以看到对高降水地区的预测不太准确。但是，该模型正确预测了真值的形状，并且倾向于准确预测降水较多的区域。