|
5 A: P& Y Q( h# ?% ?+ V 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 8 S2 L; ~+ b% G
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
. c/ d- w5 u8 x m/ n; o. G$ N 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
9 \+ _8 ^/ ^5 G 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 9 a9 s$ G% z( v# Q4 x8 P
1. 数据类型的转换 : {5 d/ _ Y% r; U( V9 P$ H
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 % c/ o& r( h! B1 l$ u5 v
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
- I: X. M6 _( n' f , y* [" _8 }1 F9 A1 @9 K* X
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct / D# `* z3 c% ~
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 % S( I9 W, K5 C
& U* h8 C/ r9 I- F6 i- m% ]! W 2. 字符串的对比 0 h( _9 [1 O: Y3 S4 B( b2 G
第二个经常需要处理的问题是，字符串的对比
% h8 N0 Z8 \8 C4 W! N6 I2 J 这里不单单指的是字符串，还包括cell元胞里面的字符串定位
+ j0 D) E r/ T: M( V1 [, M 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
6 G: p* T1 Z' w strcmp(abc,abc) * o; F: r. N( I5 V- L
判断字符串中是否包含某种字符串，可以使用contains函数
$ ~( H8 g6 ?/ h( {0 X: D contains(abc,ab)
3 a- v. x- M, R; b 判断字符串中在哪几位出现某种字符串，可以使用regexp函数
- }9 F# N1 `* ?' Y! n regexp(abac,a) 6 T: c9 h# F: s3 c. x
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 ; X/ O8 T) a" ~3 {
a = strcmp(Cell_variable,abc);
. y5 S6 e" e4 t1 w [1 [! x; n b = find(a == 1) ( t+ w9 [8 c, T5 c" u V
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 ) ~/ m8 q. F' r. {+ z
a = contains (Cell_variable,ab); q. C9 ^9 Z+ J, J1 o6 s- A/ y
b = find(a == 1) 8 k K! e' q4 A* |4 W/ T! s
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
. X# r! B3 l% |* R7 n. K. P6 Y% F: U# p 3. 文件的读取写入
) t4 H0 `2 p! Z3 Y% @! @9 X" Y 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
* t2 S! ?* u. k/ \# Q0 p mat, txt, excel是平时最常碰到的文件类型
" d* ]4 q# d/ e2 t: `3 U) `: C. o0 d mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 " F( `+ V6 T. f8 n2 a9 I
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
& F. ?. ?5 v3 m% X% }& [' D& f txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
, b( y) Q. K% C4 [2 Y5 y$ E9 X2 z6 m 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 % C# \* Z" N# z! Z
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
r7 i- Y. C. v- R4 c" M 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
; R5 D+ q" v" ~3 s+ c - Y8 `' p* ?1 a, N# }
) m0 B" l# S, T& L: E6 f$ t
5 S7 O# Z# b9 v% [! Q+ }" c txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 6 I1 V. ^' |7 A3 d/ `
fid = fopen(test.txt,wt); _$ w' v) e0 x- [5 w
fprintf(fid,test1\n);) J. y7 A6 s- d6 s0 l6 X
fprintf(fid,test2\n);
) _) F* F9 Z2 K/ U fclose(fid);
1 U; x# K7 [% V w 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 _ E8 X6 S5 ^% b
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
& |2 o- p* a& y' C [num,txt,raw] = xlsread(filename,sheet,xlRange)' g2 Z: M$ U# ^* I4 m$ O
xlswrite(filename,A,sheet,xlRange)
/ `- o; E5 t2 M- G" q 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable 0 L- c/ O1 m ^, w( G# h, ]
T = readtable(filename)5 S' [: |3 ?3 T. J; n0 L# E& F$ J
writetable(T,filename)
3 m8 ~, d6 P8 }& { u + ^0 r! l) R/ Q) b0 x/ i/ A
如果数据是cell元胞的话，替代的函数是readcell和writecell
) L5 P' p9 S: W/ R0 q T = readcell(filename)) n* G N8 y! w
writecell(T,filename) ! g% G; Q$ G2 c
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
% l, \) R- ?+ O 4. 数据可视化 ; \ k4 E5 h$ G9 a. T6 F7 O# c
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 t \: T4 ~ t, U
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 , X& [5 J5 z& e& j8 S. c% c
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 8 h, X* g- Q8 e9 H; Y% N$ y
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
& h, ~5 a6 o+ i. P5 }
/ D" K6 z& {( }5 \ 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
' f( r9 D5 W5 D k 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
8 o9 a2 K5 T9 T+ i& ]1 e0 m
3 Z# Q6 g$ Q+ D' x; `' I4 O
2 E% b: I; z: b) S 3 f: B8 I7 A9 y: m
5. 数据处理的常用函数 ; a* x+ y6 @5 m
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
2 l% I) x+ r9 P8 @. }8 e2 | 再安利大家几个平时我在处理数据时最常用的几个函数
p: j* U9 _ Q' \0 G, k! S" ` 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
- @ b% s; c. z9 | C = unique(A) 2 [; @ N" s: S0 V4 x% m
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 : z. N: E( L# b1 X
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
& ~# |* m- F! Z8 p1 v0 j" J( j, h sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
: q$ }6 `! o8 y$ o B = sort(A,dim,direction)
9 k( j+ V/ n9 G0 h8 Y" i* o/ Z( X sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 + @6 M3 ~" f w% ?; d1 R
B = sortrows(A,column ,direction) 6 }6 g2 T! m$ [- H0 i% e$ Z
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 7 y; j% X' C- R( w8 d, U
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 6 A; V; T' \0 W" l, j1 A. J
- ^; T+ N) e- p7 b+ t* |
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
, w. p+ s' I0 S d5 D 比如reshape，可以根据自己的需求对数组进行重构
. d0 W) ^3 X7 j% g8 [- r isequal，可以用来确定两个数组是否相等
. V. K! }( \9 d4 Z' J, A. d1 s! i! g5 v datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
' F. f* q- j/ D5 |1 ? 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 % u A6 ?# M% F m8 g( @
: z" `) `# `' V. s: y
6. 数据爬取
; Z5 ?7 n' \- e) e' O/ f 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 5 C s: {, q, y; N; Y
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 ( S: _1 c! }1 S, ~
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
3 S% T m8 v2 \$ e i1 `: W. U 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 - A, o' f) z }# T9 B
data = webread(url) 6 m7 `) _& c: U( P7 Y1 M. _& S
爬取到数据之后，再通过regexp函数正则法处理网页数据 , v' x6 U" m. `9 z+ N9 b* H
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) $ n3 V' Q4 X2 u/ w# ?3 B1 [
7. 薅系列工具
/ j( N) E" ]- s+ I( g; G7 S 最后一部分要安利给大家的是，由我自己开发的薅系列工具 # f' x {; N9 L) \( L
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 / }+ x* g. L1 T3 A8 F# y, h0 Q* A
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 5 k9 g# u" G; g+ K( o
; o% C4 I- I. r, A" ?4 o- C
v2 a- w9 d ] : H9 t* M; G N/ x: E
) |% l3 d& j1 j# } 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 : s: o5 u0 ^; P, p% g" ?2 P& e
& }, q3 o' A2 M* r
打浦桥程序员：背几段MATLAB代码就那么难吗？
3 L8 y# x/ w, a. Y* s; M. p 6 @' P v3 T7 Z/ [! o' D
3 u: H* P/ {) I) |3 `# I
. l, T: h% V& E9 X
9 l3 Q! S" k: z1 b3 O/ I5 o$ t0 u 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
# L2 j% K2 ?0 V8 ^
+ K0 J3 r$ s9 Z; z5 ^/ {) o
, s5 F! n5 G- S, s( q- F7 U $ U+ w" X2 y# g& H2 v/ R" k. N
[5 F# W3 F9 y R! s' n 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 % p4 ^( a* L2 K4 z
( r7 a6 G, w. z3 o) [, O
不知觉间，写了这么多字
; V: T& \: S6 K: b; b6 y6 R+ f 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 ' @6 Q- h! m c/ U/ \
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 ) B* J6 w0 R! y0 Q4 O) C
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 6 c: C9 z1 C$ j1 ]9 q# }
2 _! x$ R7 b) Z6 w% F9 u+ O3 ~& K8 L/ ^& ?
l) {4 _. E M* L1 d- `' y
/ t% [* p0 h; s) X( K
| 
