|
0 o; I: G1 w- z1 [' h6 T hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
% q5 W, }- H3 ^" C& Z% h- _# R0 c 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
. {4 ]! N9 T+ K1 v3 m, I 好嘛，举手之劳。
! @& d. e, q( {7 A
2 H3 h$ z+ y: P% n/ e5 S 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 % s- @ }& L1 @7 @: ]
3 H3 ]+ a* w/ O0 _9 t) C: h 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 9 }3 B0 [& Y/ y
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
8 v3 e; u0 M+ T6 j2 \ 先看这两张图 % D6 F7 E/ C# w" e9 U
, T8 s$ y2 k* x! ]. j 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） 3 Z& C/ [: @# n! O6 A3 h$ Q+ `& f
. N! l% k9 b1 C$ J% ]9 H2 Q 第二张是一张声呐图像，显示的是海底的一辆自行车。 + E& [4 i' t4 `7 |; W" H
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
/ e4 E0 ]9 Q) w1 J! @, g 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
" \- w s, j5 V* T 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 . `: t v* P2 U1 b
. R, z( Y7 M$ _
你看这就是辆小汽车 5 |% L: ^, B0 X+ l q
6 l8 N- b. `, }+ J6 r) h
这就是人工堤坝和沙坡 . w2 f$ ^8 _; i1 C5 `
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
) ~- q5 m5 d( G6 B 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 0 H9 r$ F( X6 v. S
/ Y8 B' A6 V$ M* R" \! _ 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） & a/ ^+ L6 t, X, _% C
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 - ]# z+ ]2 ^2 r- K7 v9 q
/ |4 F* c H; T% {% x, y 大致就是这么个意思，你品，你细品。 # I* i: h. s6 J5 {$ z) a3 t3 m7 a! j
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 6 F- u4 ^% Q2 l! X. I- k1 H
2020“水下目标检测算法赛”
( i2 L3 Y: W6 W 水下目标检测算法赛（声学图像赛项） / 讨论区 , Q, Q+ N. @$ I3 p
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
" Q2 x; Y+ y- [ S3 L 9 v! d5 T. c7 ]) m- G
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
5 c3 u5 \" Q) u8 J- J( b% Q& t 讲完图像之后，我们再来讲讲题该怎么做
1 j9 O1 b% }+ g9 y 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
8 K& g% C' t: r9 M* Q3 X- {7 ^ 举个例子： 7 M3 y, h; W2 J3 j
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 7 r5 m7 B q- A0 S- A
老师给的论文中，使用的方法为CNN/FCN
6 S: j- C W( V' z. [6 P; I 1 d6 S; v, U0 [/ t1 j
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 & f' T% q0 t# Y
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
6 P" O/ R2 E! g6 S6 s2 z “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” 3 l5 O, o3 A! d
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
6 n! e9 o$ L/ T; {; e9 y 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
6 f/ M( s& J" W- D4 ` ) d2 R7 d' z: L2 P+ U( B% \, k
最后，要进行我们的传统项目，也是大家最最最期待的环节：
7 f" @' p' F" p. m' J* r* i 官方baseline公布2 H9 C8 {" W# A+ ~" c1 ?8 U6 a# i4 v
使用Google Object Detection 完成水下目标检测
+ m3 K U2 z" a3 G- C: k https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
3 R% }- @+ |2 b; L: s1 j 项目优雅介绍了baseline的使用全流程，欢迎大家试用 ' _. Z6 X" y: {& e+ T1 S
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 & w# D) d2 u6 u0 P! L
懒人版声学 Baseline . H. S7 I0 I! \, l
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
* N" \/ b0 q# r7 o; S 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
* M+ X( ?- v2 n) v0 ~2 [* W! z) [ 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
, N% s9 Z; ^+ H& L% p4 H; x* d6 d 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
1 x; F1 N8 L9 D/ E: O" i2 P: d( ~* | $ Z9 s+ m! {( |7 H+ n
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 1 u: g! z, F( e+ |5 ?
你不算我不算，声呐图像怎么办？ 9 I8 B) A3 D' Q& }* u
你参赛我参赛，海底世界任我探！ ; K t8 H. f! R- B
期待在排行榜上看到各位的大名。以上。 T/ `6 d# z# j, @9 S+ C/ R
相关资料：
0 u: _1 v& x) W 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
( A/ ]+ x0 y2 p- O" e 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
$ B5 p( s- |- c9 B( a* T, G+ h
: r" t( w* R3 N7 @! U! b" |8 |
# O) r! N; ?7 K% I* _9 }* O$ W5 C' o; A2 B1 _) T
( \! B. a* M8 v$ N4 X0 g, g | 
