ISPRS Benchmark 语义分割研究(二)

去年的时候,把这个数据集的Vaihingen集成功做到了sota,关于这个数据集的介绍可以参考我之前写的文档,http://blog.yannx.me/deep-learning/25/isprs-benchmark-semseg-research/

基于自己写的RSegNet框架设计了一个CNN网络,在这个数据集表现很不错,Overall accuracy达到了91.7,mean F1-Score达到了90.96。最近读到了中科院电子所的一篇文章《HMANet: Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images》https://arxiv.org/abs/2001.02870。这篇文章也对该数据集进行了研究。该文章中给出的精度,OA为91.44,mean F1为90.96。两项指标中,我的OA超过了该文,mean F1为持平。总体来说我的网络性能还是比较超前的,在去年的时候就达到了sota水平。

我将网络结构方法已经写成文章,并投了ISPRS Journal of Photogrammetry and Remote Sensing期刊,目前正在审稿中。

在审稿期间,我发现我的文章有个致命问题,缺少了Potsdam的实验结果,于是最近我补充了Potsdam的实验。在该数据集上,OA达到了92.12,mean F1 达到了93.45。同样我对比了电子所的文章结果,他们的OA达到了92.21,mean F1则为93.20。同时我进行了按类别比较。

imp_surf building low_veg tree car mean F1 OA
HMANet 93.85 97.56 88.65 89.12 96.84 93.20 92.21
Ours 94.13 97.62 88.73 89.68 97.10 93.45 92.12

除了OA低了0.09外,其他指标均已达到sota,我已将我的结果上传到了http://research.yangxuan.me/isprs/potsdam/radi/index.html。评价程序是使用的Markus Gerke教授在FTP服务器提供的评价程序,网页是由该程序生成并合并起来的。mean F1指标更看重所有类别均达到最优,OA则对占比不高的类别不太公平,因此mean F1超过了之前的sota 0.25,可以认为本实验已经达到了新的sota。

我也将结果与ISPRS Potsdam官方结果评分名单进行了比较。

官方列表位于http://www2.isprs.org/commissions/comm2/wg4/potsdam-2d-semantic-labeling.html

我根据OA指标制作了一个排名表,取了OA大于等于90的结果。http://research.yangxuan.me/isprs/potsdam/

实验结果我都汇总到了以下网页中,http://research.yangxuan.me/isprs/

总体来说,我的方法在Vaihingen与Potsdam数据集上均已达到了sota,以该方法写的论文以提交到ISPRS期刊,希望可以顺利接收吧。接收之后,我会共享文章到arXiv,并会写一篇技术文档具体讲解网络结构。后续与大家一起讨论。

Yannx

2020年6月20日

Leave a Comment