|
2 m8 u4 P; _: g# n hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
/ @6 n$ u. c0 R; i 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
6 N6 h. Y! z6 x6 ] 好嘛，举手之劳。
% X5 X: D' o9 c* k' M d
1 i# T6 ]2 V4 F* B 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
+ d8 L2 O( J6 R# i
7 s# S& d3 T9 |; n; }8 D& f( ? 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
% Q M" c B- R L' O 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 # g6 n( A7 }8 {/ q- _
先看这两张图
$ R4 n# b" H5 E- g& t 1 J& R( o j* j+ t/ {
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
8 q( p9 \; J8 R' Y8 B ?
+ d" b+ G) |, K& J" ^6 i F7 n 第二张是一张声呐图像，显示的是海底的一辆自行车。 4 L4 r/ T. H. k' \
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 a5 V6 G) g3 u6 ]0 | D% H% q: F
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 1 }. A+ U! `2 |$ W' Q
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
5 l$ I; V! r G: Q# U5 |4 w - J, r' v3 }% ~: S3 X% ?
你看这就是辆小汽车 ! U$ K8 m9 Q' d' p. ?3 ?
! d9 x2 m4 x, b3 T6 D
这就是人工堤坝和沙坡 0 v0 z1 c' q8 F! A7 y9 I7 B
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
) y( h7 R4 s) [8 ? 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
. K# y, J3 x6 q5 D8 H% Y9 t
8 t) T3 o6 `) B- f: ]0 E 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
' H: Z$ m4 ?& n8 Q4 O! E, x 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 * w8 X; [( X0 t6 L: S
/ ~3 Q( B4 O2 ?3 K9 D
大致就是这么个意思，你品，你细品。 $ h% R5 W2 g& i1 d3 D* ?- S
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
) H# d. F* M' u3 l( v' _+ G 2020“水下目标检测算法赛” + K+ S0 X( ]. k2 r; v' P3 }: |" G
水下目标检测算法赛（声学图像赛项） / 讨论区
/ Z, E- X' g% H. w( Q 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ " N/ y7 @- ]# [ h- A: ^
" W3 d; k9 O) T2 w
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
G3 [$ w2 w- d& k4 c 讲完图像之后，我们再来讲讲题该怎么做 " E, H: o; J* Z! V9 H
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
9 c4 Y+ r4 A/ B: v9 _7 ?" N' d 举个例子：
0 z$ }" Y& G5 q' r, {7 [ WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
3 d# E7 z: |& a$ N+ m4 V 老师给的论文中，使用的方法为CNN/FCN
& C8 W# c' x- ^, O% q5 U
4 Q# y! O& t. D* F0 M$ W 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 8 E/ A5 r/ J/ H1 D
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： # I* T, Z' k7 ]
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
( a. Y# q: g5 t# D8 w. x 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） 6 v7 u' P! r; O% p
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ / j2 E5 y6 I* N
1 s, y& U0 ^: m0 d6 N4 z# Z/ n$ i 最后，要进行我们的传统项目，也是大家最最最期待的环节： - } q6 O) i! T9 f, _, K4 s$ t& u
官方baseline公布" r; S7 S! R4 t7 [: N! F
使用Google Object Detection 完成水下目标检测
' r5 x4 [: p9 ]" I$ X4 E7 z) j https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
+ ^7 Z$ ]: x+ k 项目优雅介绍了baseline的使用全流程，欢迎大家试用 4 Y4 H: q+ Q- F' C: W
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 $ \' J% S) B6 K+ ^: h7 Q
懒人版声学 Baseline
8 v" R- o3 s; }- O. H https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
$ e# |1 y. X- q* X 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 2 d f' I% {$ n7 h
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 - J, R9 ` q; E0 r: D0 K; S
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
5 a9 ?$ r2 M4 X3 X
^! B0 A' [9 X7 f% ~2 X: _7 J( O 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 % c# [) Z6 b, p6 o$ N) n( @
你不算我不算，声呐图像怎么办？ " E5 [! O6 ?' b" g
你参赛我参赛，海底世界任我探！ 5 G1 O- [# a8 G
期待在排行榜上看到各位的大名。以上。
8 o J1 c2 O: e 相关资料：
8 c+ v g- ^+ j% b: u 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. : l! ?3 F+ a: p2 Q9 k! \7 Y
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
3 v) ~; ?6 m' g. q* v( k- @4 D5 J
- \' Y3 M) A8 u3 U! x( s% v1 |+ f. R# }2 G& e3 @
' D+ X% a* n# s( Z6 d1 ^/ l
) _& @/ ?3 n4 j o4 t; {" S- I | 
