|
5 N; C$ U; C6 [8 a& m/ r4 E hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com, J& T4 F* y9 t( H8 [
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
9 ]9 D8 k9 C+ o3 o3 E 好嘛，举手之劳。
( ?( \6 @1 u: G' [
' N+ n- f7 ]6 j. a 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
. B0 d; m* F% ~% w+ x 1 k1 u0 a/ Q) X/ z( b' Q
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
; ^- N' t! g$ z3 C9 n* c 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 ! b4 T- J/ K5 y' ]
先看这两张图 ! |4 [* A/ B2 y( b( Y* g! R
" W: ^& s/ X- L7 C. w' h T: R 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
% A* m0 ~# A _1 a8 k' r2 ]7 ^ ! T q" b, D5 p& {" f9 ~8 c z
第二张是一张声呐图像，显示的是海底的一辆自行车。 9 g @- T2 T3 b
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 / |1 b* F* L0 K- _" F% c
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
7 F6 m; A$ ]: \ 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 + o5 \. e1 }0 b. ?
" L: m& u1 J# h1 [% L& v
你看这就是辆小汽车
$ R$ P& F8 u, D: D
6 {. H* V1 _8 E 这就是人工堤坝和沙坡
c) Y0 p! v5 r& V 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 6 j, { Y! P1 P. v7 x9 M! D# [& e5 P
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 - n- V3 U8 @1 b" W' k+ j9 R7 w7 _
0 M' {/ O. U( e
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
% c/ R2 a7 C \8 A0 x& p/ V 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 1 r+ P$ o9 t( A, ]
1 d! c0 p- f7 m! v" N+ C$ q 大致就是这么个意思，你品，你细品。 & X# i, j# p4 N9 w
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 % ?9 r$ ?1 ?& _( ?8 t3 P
2020“水下目标检测算法赛” : Y' ~7 Q. w: S$ T& L
水下目标检测算法赛（声学图像赛项） / 讨论区
1 Y H/ K3 g1 C% a 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ 6 E- s+ K0 M$ N m1 j. J" f
, }; F: v5 b9 i2 h: f
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
+ ^ f2 _0 t: t3 x3 a; W0 W% H 讲完图像之后，我们再来讲讲题该怎么做 ' R8 K1 m3 B _/ c
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
7 i7 ^8 F }. k/ [ u2 L( H 举个例子：
8 r9 D; y+ y7 S1 b WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN * V1 Y& c6 J( h1 b, o4 y
老师给的论文中，使用的方法为CNN/FCN 6 Z" _- M4 N" j* U2 R; h6 J3 r8 g
, r5 E* \0 c, H+ O& V& |2 o( U
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 6 K& i; N* U/ l) g+ K. E
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： 9 l2 v" f- p+ \
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
3 W6 K+ N: ~' l: _: D5 a% g$ z7 E 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） ) G A3 F3 a* ~3 v. |
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
% N3 U! n! c' R6 T& W
& b0 q5 |! t5 }- \ 最后，要进行我们的传统项目，也是大家最最最期待的环节：
6 H; S# y9 v) y0 g 官方baseline公布1 }- m( ~' E0 b; @/ A
使用Google Object Detection 完成水下目标检测 + I9 @4 b9 G' `" D
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
3 Y3 c- G6 f! V& Q+ ~/ T0 z( z1 | 项目优雅介绍了baseline的使用全流程，欢迎大家试用 ) O& w* C9 d: L% I8 b3 U
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 % T4 [0 r! k8 C7 A4 v9 I
懒人版声学 Baseline , y1 L7 T; l) {: m9 T5 N
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
0 @4 s4 h7 ?) G2 j' W 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
$ Z! C! ^5 N+ H u 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 8 | S& f: H' n# ?2 v
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 + N) ^1 s3 ~' a: k
; Y0 {; ^/ |" f7 V z. W: h: Y
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
0 @/ Q2 w y( W6 |! Q _6 j* f* s 你不算我不算，声呐图像怎么办？
! k0 C/ j2 i: S 你参赛我参赛，海底世界任我探！
9 K: F/ B6 v! g1 ~; z: k 期待在排行榜上看到各位的大名。以上。 7 D a) Y# t0 ]/ s8 E2 B2 i
相关资料：
6 V4 X: I; p( _0 f/ T- W& W 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. % P- }3 i; D/ @1 w- l3 M
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 # w- s. H9 d: g# R' }% ]2 q% K2 j
& j" R) F' {8 w; q
# C$ d% T. g! b4 y1 q; F( ]9 e# {3 B
+ z) x6 T" O8 |7 q/ u$ K- ?; V. r9 a( S7 c
| 
