|
: V t( ?* _ D U 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 d$ C2 H( ] p- Q! S1 k, W8 a
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
8 d* x# ?( {# L9 l6 ^ 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 ; a6 H2 l/ O6 i0 c
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
- V! z- j, a* z% l2 L9 g4 T 1. 数据类型的转换
1 M; k, k7 g0 \ 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
+ w. N* N6 H J7 ]+ m* X$ v: Y 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” * D9 H7 @2 ~$ I ]; L
# u' _$ `- ^5 }0 V# P/ m, ~
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
C* e! q7 u' g3 d# m 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 3 C1 ~- E4 i1 U! J+ ^; A3 |0 }) U
1 Z6 q2 w5 p' A/ N
2. 字符串的对比
& _( k1 U0 @; u' Y+ l4 M% K k2 T! | 第二个经常需要处理的问题是，字符串的对比 1 T0 N, D1 P; u& g- E
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
6 k* Z/ ?7 b9 Q, |2 V 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
6 Z* }8 i$ y# e7 d) a strcmp(abc,abc) r0 ]% G& M" f6 W
判断字符串中是否包含某种字符串，可以使用contains函数
5 H6 F3 I* H. a% w+ v d9 f contains(abc,ab)
3 d5 U0 ~8 Z, r: n0 v4 O 判断字符串中在哪几位出现某种字符串，可以使用regexp函数
( t9 j- k# N+ X) } regexp(abac,a) ( Z& h$ V7 p2 i8 M7 u: r; d! M9 i
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
) ^& r! T9 q/ b7 f: y: | a = strcmp(Cell_variable,abc);
1 W/ Q: W* b7 a/ C) H; t b = find(a == 1) 9 C. g4 \* H2 X# P9 ?
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 : l& Q9 a: ?- i# Z- h$ p: X
a = contains (Cell_variable,ab);
8 M, c6 S) [( c0 N8 I E b = find(a == 1) . f6 p# D! n+ f* ^ t
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
5 f h3 ~% ?+ ]/ `; J6 G 3. 文件的读取写入
4 c$ }+ \, N, Y4 f. a 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
, a- T$ O7 X% Q: b- i mat, txt, excel是平时最常碰到的文件类型
4 u4 V2 b: J. j6 O* D$ O# ?, Z mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
$ ^& A* a6 ~6 C2 T 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 ( g* ^5 Q7 @; @3 a3 m Q7 X* Q
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 6 ?% w. f. s$ X9 S5 a
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 5 Y" V' w2 _6 N8 W5 J
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 U; b' c1 A* [1 C1 m
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
: M, H* z5 r l2 [7 m7 \' v
9 ?. u7 }$ }0 K% S5 Y3 p " f! O6 B( C# |1 b- C5 f
! v' ], @# Q7 g; ~6 l
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 + f2 T6 Z5 c; |- i
fid = fopen(test.txt,wt);3 P, e* O; J2 ]" g. N8 B1 s
fprintf(fid,test1\n);2 E7 p& t5 ~% }9 R2 |) ?( Q$ f6 }
fprintf(fid,test2\n);
, c9 K9 Z x( I! I fclose(fid); 1 S3 O* W, E: `4 y, @: h
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 ?- b& a; }; Y/ B/ n. K
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
" e3 N" r: J, Q [num,txt,raw] = xlsread(filename,sheet,xlRange)
; K+ l1 x6 e7 B- T7 T2 A xlswrite(filename,A,sheet,xlRange) 4 f. R, d/ [! g/ y8 H- A0 r
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
8 P9 n" O2 a- k, H+ _ T = readtable(filename)
: r! W1 t. h0 F+ I$ {, M8 S: k writetable(T,filename)* L( |& e) e- y7 Z
* r5 C6 j/ F4 I; \ D, f 如果数据是cell元胞的话，替代的函数是readcell和writecell ' @2 A2 N M$ _% M2 D
T = readcell(filename)' i" J& X1 T; d' b
writecell(T,filename) + Y, t2 I5 K. `
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
( [; E* G2 G* X p8 O! G/ E+ l 4. 数据可视化
: G Y" Y2 `5 q. [ f- S- B$ L 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
8 G X8 N) h- O7 c) y 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
8 ?5 h0 G# y1 e 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 - b s% y2 d* v3 u6 t8 W! N8 k' W9 D
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
! Z4 i& g; v! _& C6 _- n 9 [) l+ G0 p+ p* O, I* X2 Y
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
! z5 h* ~) F2 k' f 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 % g( h& _* t6 x8 P- v; O$ `
8 c& S/ G" H( V [' x! x
9 }5 m3 F9 e( d, b! _
4 _* w+ O, i( y- C0 A& }, i 5. 数据处理的常用函数
5 a$ i) u+ ?0 k4 b- T. t 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
" h+ L" x7 W" ] 再安利大家几个平时我在处理数据时最常用的几个函数
* [/ k3 c6 V4 l4 o 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
; B( k6 w/ Y4 }( e7 s- B C = unique(A) % P( E3 ?* s( {7 i5 b$ ~5 o+ T. D
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
X% k# F8 i1 r j+ [# j0 { 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
$ W9 r- n0 P* M, q# c$ T" R sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 " i5 @% J$ r2 b- ~* o9 d
B = sort(A,dim,direction)
8 |, x6 [4 H% U8 E) ]$ o# } sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 ( h0 J. j! Q* s) A
B = sortrows(A,column ,direction)
" o1 \( T2 f" j" c 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 ; z t# C0 B3 N. Q/ U# \
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 ' f: _- `/ u5 U ?3 U: r
) f, k6 n. _% q9 M6 F- T7 r& |
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
* q! ]! g( T" t7 n! \$ T 比如reshape，可以根据自己的需求对数组进行重构
# ~$ ?% J9 J/ G5 ] isequal，可以用来确定两个数组是否相等 ( F9 ]3 Y% m$ l# T
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 , b+ F X, }5 E/ w
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 ( _( @" T* i1 S! a) J# s
5 h' G4 {* N; x
6. 数据爬取 3 ]( ?: Q$ U+ v+ Q# U" m- p
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 9 Q% x; |/ V2 H
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 6 w5 \) V+ \. A) x8 A6 [0 A* X
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
. L0 _4 H& F$ a0 G 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 ?9 B/ l$ b* h/ F9 f) L
data = webread(url)
5 O; X( c" W, b+ n o, P+ ]6 A 爬取到数据之后，再通过regexp函数正则法处理网页数据 1 I# H5 C( v! W
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) , t" `* C9 G; z/ R- s( l* h7 T) c
7. 薅系列工具 / Q3 E9 q$ h7 l# |4 B d7 Y4 u
最后一部分要安利给大家的是，由我自己开发的薅系列工具
, z4 B+ o8 k u0 ]2 ^ 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 3 D2 Z$ J- `; i$ y6 n
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 / U$ ]+ X; [! H' i& w+ ?- t
5 p5 G+ f! ~( z: [* w
+ B5 [# e% y+ }6 {
5 c" r. u- S! z
$ w! x+ j- C6 Y1 [
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
- i; ^9 M0 {3 H! v/ j) {3 z
% r% V2 ^4 Y/ c4 P. x( x 打浦桥程序员：背几段MATLAB代码就那么难吗？ 6 r& ^6 I2 [% o# H4 I2 B- U, ^
) w" P( n7 D- [0 k8 p( m
: S) x. G2 ?3 a# l" x 2 Y# \/ {' | Q) g/ ^. W; V
/ ~; h/ T% x) r 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
* J& `6 a" z( ~. [' X2 Y: D/ C & B+ X! S; ?/ S8 f' W7 T
$ r5 A! T- z; y& i! c8 `- u8 Q
6 p+ A1 u9 T, K. b
! `( @" e1 o9 \" F 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
' C' m. Z4 p/ y( B: v6 R ( y; V7 O4 n/ V( B
不知觉间，写了这么多字 - k* c) ]9 r8 h9 @; }" n
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 / Q4 Y/ J- `8 f0 ]
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 ' U' F$ p) ^# ]* l! N) ~4 Y
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
" ]" j* E3 z2 s! p* W1 B+ V; Y2 ~# i1 _. D
! x8 U- E! x. F- a& D7 ~ A
- q! m/ y U. ~8 ]: p6 C+ ^. r
- y+ Y( M4 w7 ]8 W2 } | 
