|
" [) I" w9 x0 M3 B
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
5 S0 U6 `% a3 ~9 x& y, U, ^ 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 5 F$ s$ B% Y- A( j7 Z
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 2 B' i6 z0 }- X; Q4 @- ?0 o
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 1 D9 l0 y& v( q0 M" R' p' S- N. F! ?5 r
1. 数据类型的转换 , z% C' N9 k( H' B t4 d
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
/ l$ H7 \. F1 w3 u+ k 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
; R- y0 \) T( W8 @ u4 e
, g* U0 }6 k" H 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
/ S3 Q9 D7 t/ C, z4 h 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
1 N; X, C* p7 X
/ ]$ X7 s6 O2 i; r/ T N: y 2. 字符串的对比
3 N. S" u) K- \" L 第二个经常需要处理的问题是，字符串的对比
4 \* K& u% }# Y0 [) U( i 这里不单单指的是字符串，还包括cell元胞里面的字符串定位
- X) z* W p+ e* z- D& Q 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 ; t9 [; [4 o G" k
strcmp(abc,abc)
5 k a0 ]# L- e- s2 n# q4 K 判断字符串中是否包含某种字符串，可以使用contains函数 6 H% a7 W3 E$ t" h% }: P3 W+ p& y
contains(abc,ab)
H: j5 J/ a% F, M+ G6 q7 Z 判断字符串中在哪几位出现某种字符串，可以使用regexp函数 $ p: C* G, t) J8 c6 H& |" a
regexp(abac,a)
/ [* J' s( X8 B7 b. c 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
2 m5 `% X0 C. ^9 O3 G+ d6 ~ a = strcmp(Cell_variable,abc);2 I) K8 Q: o4 l# H5 F A
b = find(a == 1) $ _1 H& i, t. A
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 ) G' E$ q( c0 i4 y" G7 f5 G* _& Z7 B
a = contains (Cell_variable,ab);9 x* G6 Q& b& f; G( Z0 C0 t! Q/ n
b = find(a == 1) , B: e4 a) R- r: e% E! y3 x
掌握上面这两点，在平时处理cell的字符串，基本上就够用了 + J: K0 ?& W: e+ Q' }: b- h2 R) P' R
3. 文件的读取写入 # E1 h/ k. n! y& H
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 # i% w `. Q" `+ C) J8 t& j
mat, txt, excel是平时最常碰到的文件类型
/ x' l# l0 D# N1 M% y) i: S mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 . c7 e2 ^4 S \: F
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
$ J) n0 I/ Z X: e8 J# D txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 ' I- \; D1 l; V; c
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 - d+ A$ z+ j) j8 p; I) G, f
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 ' Q8 g. k( h/ @9 k. i% t: ]( F
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 , ^4 g, e( M2 k. j1 o
" {* z' |4 j: |: o& v G! U5 f
, S% }1 m7 ?; _) [1 M# U& l$ w9 W9 z
! [7 x( g6 x m) P. z5 I# ]' \ txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 + v4 P* f* [9 M* K9 C6 n# D. o" e) o
fid = fopen(test.txt,wt);+ j5 r% P$ O( O3 T- |- O
fprintf(fid,test1\n);
+ |7 Y2 S, _; P: O fprintf(fid,test2\n);
+ A- i- J0 H& M) g0 u fclose(fid);
% Z4 F+ r% {1 p 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
" B: a& c+ g3 a" \* S- D! [# a# N 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 , s( ~$ V0 M; P
[num,txt,raw] = xlsread(filename,sheet,xlRange). @% d' W2 L0 P3 ~
xlswrite(filename,A,sheet,xlRange)
7 w* V9 C. x1 C1 M( n$ S8 m& c 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
9 `# _, I2 o+ d T = readtable(filename)1 Y/ g6 w. P6 d% K9 g: N; t( C) G. n
writetable(T,filename)
# u/ s) o) V- s$ D8 ` % Q- O5 C; F8 p$ N
如果数据是cell元胞的话，替代的函数是readcell和writecell
9 k5 Y- r: K! i* l9 u' y3 z T = readcell(filename)
$ t5 b# m6 A1 S9 X/ c# t9 x writecell(T,filename) 1 c0 @$ [+ W. s u
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
) ]; u8 K; S1 v, \ 4. 数据可视化 % j9 e% [, P4 z* B
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 5 h' O' D' i) ~& H0 X I" r* }/ v0 V
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
5 x' g, k8 J6 b2 y# u0 j1 [ 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
2 _3 s7 a R$ T7 U- D 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
@) l: [* V7 z1 Z( g 1 _/ X* ~2 x [* ]. X. t
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
9 f! V: k) J, E6 _8 w* i 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 " ~8 ? x; y, E$ B5 l! p, m- b/ b
' U. {+ y( L/ H& R # C2 \1 H, j/ g8 O- j" o
7 w: w3 F9 x* _ z2 f0 P 5. 数据处理的常用函数 ) g6 N3 f; A9 L8 h) v" |
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 ' S, z% Q; x4 @" V; ?
再安利大家几个平时我在处理数据时最常用的几个函数 B* }% F, d$ B3 H8 {
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 ' G: J4 r1 R9 q- U0 j
C = unique(A)
5 F1 v$ a/ E/ ?3 r3 d3 a/ l( `* J unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 7 v/ H$ I4 N- e, \
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 ) Y J5 T( e2 S- s
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 # X7 } |; Y+ j$ i$ o# g
B = sort(A,dim,direction)
" A c7 J" q* l" r( y* H sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 & y4 {8 |: ^2 E! I
B = sortrows(A,column ,direction) 8 _1 }2 p$ s5 @4 S4 {
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 + T) }$ D; f: X( j' g
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
* Y v+ h, |6 I4 P , ~7 n* {1 i6 [2 }
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
, M2 \* H7 f. Q B" U. ^# @8 u 比如reshape，可以根据自己的需求对数组进行重构
1 z8 A/ c9 u2 ~" U3 k isequal，可以用来确定两个数组是否相等 3 S9 A4 x: y u I7 K, C. ^) G
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
6 L0 f8 S6 ^( d/ Z+ E 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
$ w6 o, _* t' }5 @4 C" [
* v3 p; S: B `/ h& V0 ^! L 6. 数据爬取 : {: _" q( `! a: b/ q1 ?
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 ( \7 Y6 U2 v% {4 q
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
1 C. j/ b# n/ h. O0 } 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
4 N7 U" G& y) t. t% e8 n! X4 g0 v 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 : M% R4 e# p) i6 G/ R
data = webread(url)
8 S) u8 J! b# q2 w- h 爬取到数据之后，再通过regexp函数正则法处理网页数据
) m4 f4 u! v1 H+ H 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
1 o+ Q" e$ i, H" u 7. 薅系列工具
. F5 u4 Q# z% g ~/ l' ~ 最后一部分要安利给大家的是，由我自己开发的薅系列工具 * v# c% O) q% A9 b
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 ) P+ d" }8 D8 n( ^% E5 m1 [
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
6 [( Z; x# _6 z+ F2 Z
' R" A! g+ }0 Y8 `2 u; F- V( Q
* v. N' S7 o' S # C( a6 m( {0 t
}/ w w! R$ {( \2 _2 p) j' G
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 9 Y" s; R* b% g+ H0 |
" X6 T0 L/ Y) y( m* {4 l7 S
打浦桥程序员：背几段MATLAB代码就那么难吗？
0 u" g+ p% ^/ ?$ V Z: B0 h, Q& I* J
/ F0 x% _* P* O/ u" d
& f. \- |( e, r, I
' e4 a3 b" U7 w4 B* D, V 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 $ o* i9 ~$ ?2 y' j0 Q
- `. y. |1 s6 v! h3 }9 `0 _3 ~6 w
/ ? V- p' Q6 m) w9 j
3 k! c! q' B- k' f ! e0 ], [$ S& `) S1 I
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
+ n$ d6 f& g! j+ q: \
1 y: ]% H4 S; }3 A/ c9 e8 X 不知觉间，写了这么多字 - j0 U D. W- d( ]
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
! k: O- b/ K: n9 D! F+ G8 q { 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 % J* L: r8 y5 [
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 2 a$ C' D2 H1 V: a" g5 x
* S1 m5 Z6 N; c% r+ _
: b5 L# v* q% s2 A1 X4 j: z6 T) P1 Z
- d! v4 d* M: j4 c3 _4 m
3 v8 w- ^, Z6 |, H; F% c
| 
