ISPRS Benchmark是ISPRS公开的一个遥感语义分割数据集，包括三项任务：
- Vaihingen 2D semantic labeling
- Potsdam 2D semantic labeling
- Vaihingen 3D semantic labeling
其中前两项是计算机视觉领域最常见的语义分割任务，仅仅是将场景转换到了无人机平台上，对航片进行语义分割。最后一项是三维的语义分割，这一领域我还不是很了解，此处就不进行讨论了。
Vaihingen 2D semantic labeling数据集分为训练集与测试集，训练集包含16景影像，测试集包含17景影像。影像的空间分辨率为0.09m，其中光学影像由Green、Red、Near InfraRed波段组成，另外还提供一个DSM数据。分类体系包括六个类别：Impervious surfaces、Building、Low vegetation、Tree、Car、Clutter。评价体系是：总体评价像素精度，各个类别评价F1-Score（其中Clutter不计入排行榜）。
具体介绍可参考ISPRS网站：
- http://www2.isprs.org/commissions/comm3/wg4/semantic-labeling.html
- http://www2.isprs.org/commissions/comm3/wg4/2d-sem-label-vaihingen.html
Potsdam 2D semantic labeling数据集分为训练集与测试集，训练集包含24景影像，测试集包含14景影像。影像的空间分辨率为0.05m，其中光学影像由Blue、Green、Red、Near InfraRed波段组成，另外还提供一个DSM数据。分类体系包括六个类别：Impervious surfaces、Building、Low vegetation、Tree、Car、Clutter。评价体系是：总体评价像素精度，各个类别评价F1-Score（其中Clutter不计入排行榜）。
具体介绍可参考ISPRS网站：
- http://www2.isprs.org/commissions/comm3/wg4/semantic-labeling.html
- http://www2.isprs.org/commissions/comm3/wg4/2d-sem-label-potsdam.html
上述两项任务均已于2018年夏天的时候结束了，组织者Markus Gerke教授公开了所有测试集的标注数据，同时也公开了一个基于C++的精度评价程序。这个评价程序仅仅只能分幅输出精度与汇总的网页，不能像ISPRS网页上那样汇总所有的影像精度，并计算整体的精度。
目前已经冻结的排行榜如下：
- Vaihingen： http://www2.isprs.org/commissions/comm2/wg4/vaihingen-2d-semantic-labeling-contest.html
- Potsdam：http://www2.isprs.org/commissions/comm2/wg4/potsdam-2d-semantic-labeling.html
这两个数据集的标注比较细致，整体质量非常好，因此遥感语义分割可以以这个数据集为研究基准，用来测试神经网络结构与训练策略等等。这是遥感深度学习上最重要的数据集之一。
在比赛结束之前，我用这个数据集训练过几个网络模型，但是当时自己精度评价不够理想，便没有提交结果。后来提交结果时，比赛已经结束了，错过了时机。但是接下来一年里，我继续用这个数据集进行算法研究与代码调试工作。
我基于PyTorch框架，开发了一套用于遥感语义分割的框架，我给我的框架命名为RSegNet，意为Remote Sensing Segmentation Network，缩写中S作为共用字母，得到这个项目名称。目前为闭源项目，暂无开源计划。
在我自己的框架下，我尝试了大量的不同的网络结构，增加了大量的调参工具。最近，基于Encode-Decode结构的网络模型，设计了一种全新的特征融合网络结构，成功在Vaihingen 2D semantic labeling任务的测试集上，得到了91.7%的精度。超越了已冻结的排行榜上的第一名的分数。目前正在写此网络结构的文章，等文章发表后会在博客上写相关的技术文章的。
由于Markus Gerke教授没有提供精度报表汇总、总体精度计算以及总体报表网页生成的代码，因此我自己用python实现了这一部分代码，并生成了与ISPRS网站上的格式完全一致的结果与精度报表网页。由于ISPRS上的数据以及冻结，因此我将生成的网页上传到了自己的服务器上，具体内容见以下网页：
- 重新排序并加入了自己分数的网页： http://research.yangxuan.me/isprs/vaihingen/index.html
- 总体精度、分幅精度与结果展示的网页：http://research.yangxuan.me/isprs/vaihingen/radi/index.html
目前还只试验了Vaihingen 2D semantic labeling数据集，Potsdam 2D semantic labeling数据集也正在试验，后续会分享结果。（已完成实验，详见http://blog.yannx.me/deep-learning/82/isprs-benchmark-semseg-research-2/）
Yannx
2019年7月12日