收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

MATLAB处理数据,掌握这7个小技巧就够了

[复制链接]
) W- b* d* f) k% j9 w7 c9 H/ ^1 l

最近一段时间,工作上花了不少时间用MATLAB处理工厂下线的数据,数据庞大不说,复杂度也高,各种推算和统计

! b% ]8 g# U. y5 U# ]% o& p+ {

所以今天我打算总结一下,平时我在用MATLAB做数据分析时常用的几个小技巧

6 Q) `% g8 J+ e$ ^: R, a |

正好全国大学生数学建模竞赛下周就要开始了,希望今天的分享对参赛的朋友有所帮助

* f/ @. B# ~$ L: G0 W7 j

虽然不知道到时候会有哪些选题,但是能肯定的是,不管是什么题目,都离不开数据分析,这是唯一比赛前能好好准备的

) o9 c1 W7 b/ _: J

1. 数据类型的转换

Y" w5 {' ~! v" ]: W Y, l- v

有一类问题,不论你MATLAB水平如何,平时写代码的时候多少总会遇到,就是数据类型不一致,需要转换

2 {- i q& `) G; F' b9 J' M7 N

至于什么是数据类型,这个问题我就不科普了,大家可以直接在MATLAB命令栏“doc 数据类型”

# N8 G. J' _8 l
2 Z# ~0 |. b! L X

通常在数据转换这个问题上,涉及到的比较常见几种的数据类型有double,char,cell,struct

" \9 m2 U+ g5 X2 J3 o) A' O

我给大家准备了一张数据类型转换的关系图,用class判断一下转换前的两种数据类型,然后按照下面这张图处理就完事了

4 q, H- {$ {& L) {
; h3 l2 S9 V8 g) s: _; k2 J

2. 字符串的对比

: C1 y) J! b h5 n- y

第二个经常需要处理的问题是,字符串的对比

/ \: {# |* V6 i8 E) q$ e" ^, }

这里不单单指的是字符串,还包括cell元胞里面的字符串定位

; u: E% q% J1 E! ^. }( n- @

如果单纯只是字符串的话,要判断两个字符串是否相同,strcmp函数可以实现对比

m' m+ l+ W% Q( w. a- J" j
strcmp(abc,abc)
8 u7 T# M4 l1 j! y+ v, U

判断字符串中是否包含某种字符串,可以使用contains函数

: w) l5 k; A- |
contains(abc,ab)
4 K+ T% K# ~0 a7 }

判断字符串中在哪几位出现某种字符串,可以使用regexp函数

8 \) ]& Q t+ y4 C! i# q# A
regexp(abac,a)
- l! Z: {3 |$ \% e- L

更常碰到的场景是,在cell元胞里面判断字符串,比如维度1x1000的cell中,定位哪几个cell里面的字符串是‘abc’,还是通过strcmp实现对比,再通过find定位

# |( S3 [7 e5 o( m! ]
a = strcmp(Cell_variable,abc);, @; y4 j. v: }! t) h b = find(a == 1)
$ `9 u9 q. m# u

同样,要判断这1x1000的cell中,定位哪几个cell中的字符串,带有‘ab’,可以使用contains函数,再用find定位

$ w- u3 |( g D- v/ `6 c
a = contains (Cell_variable,ab); & ^! E" Z0 T$ ~1 X- W& ` b = find(a == 1)
" M, J8 @- O5 ?

掌握上面这两点,在平时处理cell的字符串,基本上就够用了

$ M* _' i) D6 M' T) { p( l

3. 文件的读取写入

: d4 [7 d" m! P4 o7 z+ l

文件的读取写入同样非常重要,在数据分析过程中,对应着信息的获取和数据处理结果的输出

S: t; S9 _) N L+ C1 s

mat, txt, excel是平时最常碰到的文件类型

# `8 y2 D/ }2 b$ v

mat就不用多说了,MATLAB中的一种文件类型,用于存储workspace中的变量,在数据分析过程中,可以经常把运算结果或中间阶段的数据,作为mat进行保存

% D! j/ { i, j1 m: p

加载mat文件,用的是“load 文件名”命令,也可以双击mat文件,保存mat文件,用的是“save 文件名”命令,也可以workspace右键保存

2 @8 m* z! n; \+ e4 n/ D/ c% Y

txt的读取方式有非常多,网上也有各种各样的介绍,我就介绍两种最常用,也是目前我一直在用的两种方法

3 l! z( h4 O1 Y1 p$ f4 V- A( q

第一种是通过importdata(‘test.txt’)命令,读取的结果是一个多行一列的cell元胞,后续的数据处理也就方便了,cell里面的字符串定位处理在前面也已经介绍过

?' W+ K) W7 Y, k: _- d9 o; m C: {

另一种方法是,通过MATLAB工具条里的“导入数据”按钮,这种方法的一个好处是,导入过程中有很多非常人性化的设置,比如数据的分隔,范围定义,数据的输出类型等等

5 @9 ^6 h$ e( v/ t: g& d

导出的选择也有不少,可以选择直接导出到workspace,也可以选择生成脚本或者是function,方便同类型文本的重复使用,对于不太喜欢写脚本导入数据的朋友,我比较推荐这种方式

8 {4 P. ^& v9 g3 ?6 B
7 Z% c/ T- C* y% S! b# i
h, j9 z; l4 |* N9 w/ k
0 L3 T, ]" T* ~; G) W# \: X- E ]

txt的写入,可以通过fopen,fprintf,fclose实现,基本上我所有GUI中关于代码生成的功能,都是通过这个方式将代码写入m脚本的,给大家举一个简单的txt写入的例子代码

3 ~. i* s6 y) i( D+ D
fid = fopen(test.txt,wt); # W$ Y; s! z! S7 Y fprintf(fid,test1\n); + J+ p7 d1 @; w. I& D fprintf(fid,test2\n); / `+ ?4 @' R: z. c fclose(fid);
/ }4 p3 N% w# [1 F6 p- t

关于txt的读取写入,我再多介绍一点,txt是文本文件中的一种,就是那种右键打开能读得懂的文件。类似的文本文件还有很多,像m文件,mdl模型文件,dcm文件,c代码等等,只要是文本文件,都可以用txt处理的方式,对目标文件进行读取写入。

( [! O( @1 N9 y* V; t

最后讲一下Excel读取写入的问题,常写MATLAB脚本的朋友,对xlsread和xlswrite肯定不陌生,对应的是Excel的读取和写入

7 @) m! H4 s7 d
[num,txt,raw] = xlsread(filename,sheet,xlRange) 6 T5 r) f# H/ y: s2 d5 S6 F6 G' s xlswrite(filename,A,sheet,xlRange)
6 V2 c1 F: H) O! b8 m

但是目前MATLAB官方已经不推荐使用这两种方式了,替代的函数是readtable和writetable

' C1 d6 S# h( v1 @ W) J W
T = readtable(filename) ( T% O. |; b! S# l% x0 i writetable(T,filename), w( e" s3 n0 x0 `
0 q! U X' w1 n- A' D7 W" ]1 o

如果数据是cell元胞的话,替代的函数是readcell和writecell

. r% w7 _0 x/ I- @
T = readcell(filename)! Y3 e0 a. `1 S$ o. O; H L0 @1 E writecell(T,filename)
' _1 }" j6 N& h7 I: l

大家根据自己的个人习惯选择其中一种方式,两种方式在功能实现上目前并没有太大区别

& E" p* I+ @- y

4. 数据可视化

, Y& L$ h r4 u9 g( }& @

数据可视化,结果的呈现,也是数据分析过程中至关重要的一环

7 G' J' j; e+ J! p+ [

像大家非常熟悉的函数plot,就可以用来画曲线图,但是有时候仅仅曲线图并不足以来呈现结果,还需要用到比如像三维图,柱状图,饼状图,蜡烛图等等

; k0 u( k$ I4 \) x6 p* d

这部分我并不打算给大家罗列各种图形对应代码命令,大家也没必要刻意地去死记这些代码,安利一个非常通用的方法

8 @) G! o/ C& f: @3 K4 E7 R

在选择需要可视化的数据之后,在MATLAB工具条的绘图窗口,选取你喜欢的图形,就能生成你需要的结果图了

( e# v% e0 `0 Y
6 ^# z* T) _- y1 \1 A/ K0 L7 J

不过,至于图片的细节,像title,legend,网格,还是需要自己微调,但这都不是事,再安利大家一个简单的方法,完全不用上网去搜

3 k1 T3 G& [# H8 N/ u

在生成窗口中,点击属性检查器,然后根据自己的需要完善图片的细节,最后通过生成代码,就能看到这部分作图操作的原始代码了,大家也能在代码的基础上再微调,或者复用

! \% Y' w- Y' K/ ?
4 e, u2 R7 ~' Z
2 s$ o( q; r, Q2 A
4 d! [4 f; Y5 Z1 ^7 @

5. 数据处理的常用函数

/ @/ a7 \" ~5 X8 b- v, c

关于数据处理的函数,像max,min,mean,std这些函数都是比较常用的函数,分别是最大值,最小值,平均值,标准差

: m) L# N: l$ J6 X

再安利大家几个平时我在处理数据时最常用的几个函数

- k4 f/ e) y: w; @! _

第一个是unique函数,可以把数据中重复的数据删去,保留唯一值。unique这个函数不仅仅对数值矩阵有效,在cell中同样起作用

# q+ t& b1 ]* A3 v$ {) N
C = unique(A)
3 y7 x& d! m5 A. a# ^& i

unique还有一些拓展的语法和功能,有兴趣的朋友可以在MATLAB文档中查看,不过光这个基本功能,就已经非常够用了

" A0 o7 o L% B4 g. U& M% ^5 X

第二个要推荐的函数是排序,sort和sortrows,两种函数都有排序的功能,但是使用场景不太一样

# p$ @9 l- H6 E( L3 N& K1 `

sort的功能是,将矩阵或者cell中的每行或者每列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,dim的选择有1和2,分别代表对每列和每行进行排序,direction的选择有ascend或 descend,分别代表升序和降序

" x3 b) D9 r9 h7 R O
B = sort(A,dim,direction)
& j( i9 V( E9 h4 s7 _1 f

sortrows的功能是,将矩阵或者cell根据某一列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,column代表根据第几列进行排序,direction的选择有ascend或 descend,分别代表升序和降序

$ T# ]* y) R5 I
B = sortrows(A,column ,direction)
3 u9 |* [" u% [

最后推荐的一个函数是tabulate,非常强的一个命令,可以实现对数据的统计分析,输出的结果有三列,分别是去重后的数据,出现的次数,已经对应的百分比

7 _' E! O7 j9 t( j1 [4 L: J

再结合sortrows对tabulate生成的结果进行排序,就很容易获得各个数据根据频率进行排序的结果

# P4 M7 C; @9 \+ V
) a4 m3 G b4 J4 B1 @: L

除了上面提到的几个日常比较常用的函数,还有一些我非常推荐的函数,平时我用的不太多,但是如果用到的时候找不到会很抓狂的那种

7 q O \ {& W5 N+ H" r; V

比如reshape,可以根据自己的需求对数组进行重构

( L/ e; k8 d' M- `8 Y7 S0 e

isequal,可以用来确定两个数组是否相等

9 U- Z. k3 ~, c0 j+ m% G/ q: i% l/ Y

datenum,datestr相信大家比较熟悉,可以将日期转换成序列值和字符,平时在处理时间相关数据的时候,还可以考虑用years,days,hours,minutes,seconds等等来计算持续时间

6 Q) j x0 Q4 D p9 j6 }

常用函数这部分内容就介绍到这,其实还有很多非常赞的函数,欢迎大家把自己喜欢的函数发到评论区

# I" @: v& g$ G8 X2 @ 3 I# }; n) R7 ]$ q+ M1 Z y& q

6. 数据爬取

+ s D, {: H1 |* s8 f+ O

数据爬取部分,其实我想讲的是爬虫,不过也不能算数据分析的技巧,我讲这部分内容,更多的是出于建模竞赛的原因

" w J7 P4 w# M6 m) ?/ S4 \

建模、仿真和验证,其实是需要数据的支持的。脱离实际意义的建模,靠拍脑门做出来的结果,都是不提倡的

. g8 ]8 o7 J; k6 x& Y

最简单的情况,如果有现成的数据文件,可以根据今天聊到的第三部分,读取数据文件之后进行分析

8 [( h% K. z& a2 O, d9 S

如果没有这些数据,我推荐大家使用MATLAB读取网页的函数webread进行数据爬取

- {: _% q6 R. ]' v# f# _8 k
data = webread(url)
' ]' a9 ?: r# K: ]3 O2 Q: J

爬取到数据之后,再通过regexp函数正则法处理网页数据

9 d( q# F `7 D# {5 k7 `

这部分聊的比较浅,但也很难三两句话把爬虫讲完,推荐大家一个相关的MATLAB爬虫视频,讲的是我之前用MATLAB爬取B站,视频很短,一共7分钟,大家一边看一边跟着做练习,基本上半个小时也就全整明白了(知乎不给放二维码,有需要的朋友,直接上B站搜打浦桥程序员吧)

7 W1 {9 n+ c) f I7 l7 b

7. 薅系列工具

; r) Y; L, e0 s% ~: H

最后一部分要安利给大家的是,由我自己开发的薅系列工具

" A T0 ^5 g. [! w: K9 ]

目前反响最好的是薅曲线(HaoCurve),从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说,拿薅曲线来做结果验证特别管用

. k% \: J5 P3 T; h6 }

虽然这个工具我平时用到的不太多,不过就冲8000多的下载量来说,我还是很推荐的。需要的朋友,戳下方的文章链接获取工具下载方式

: G1 h2 F# T- p0 q) _7 v3 y 0 r# _+ i+ {2 J# Q Q+ n8 P8 X
2 q* q5 e! X+ a) n( x1 [
3 H0 C% F I/ q
# e& f7 _- ^8 }

我个人用的比较多的是另外两款工具,一个是薅文件(HaoFile),里面的历史代码检索功能很强大,可以大大减少找代码写脚本的时间,在数据分析过程中,很多脚本和功能都是可以复用的,有需要的朋友,戳下方的文章链接获取工具下载方式

+ x* `- k) J0 ]4 X- U 9 _, G- n/ D1 D

打浦桥程序员:背几段MATLAB代码就那么难吗?

, U' [$ H: u9 g* L* @6 w; |8 | ' Y* {! I# M8 O6 F
( }) h) I& [( w* C' g2 z
2 U& g; q! D8 G/ q
0 M, r: \: x: N" Z7 o ^. D

另一款工具是薅模版(HaoTemplate),如果最终数据分析的交付文档有格式上的要求,薅模版能就发挥它的作用,可以生成特定格式的Excel或Word模版代码,这可比自己手动去调格式方便很多,有需要的朋友,戳下方的文章链接获取工具下载方式

0 g. p$ |3 Q2 j+ Z4 B, Y9 C / y3 \: `$ I5 ?9 h
# N/ ~: o5 m* o4 n8 L+ H" q
+ }/ i6 k1 I {4 p) ~- R3 B
" V2 O9 V$ ^+ R/ R T1 x$ A

薅系列工具还有很多,不过在数据分析这部分,我最推荐的是这三款工具

* s% d1 B S0 o! O5 U) }! K , {+ w3 J; B' X

不知觉间,写了这么多字

: i) f. n& W' _. C+ E

今天总结的小技巧,未必是最适合大家的方法,但确实是我这些年养成的一些处理习惯

; r/ l4 g" a C

希望今天总结的方法,对大家平时的工作学习有所帮助,当然大家如果有更推荐的小技巧,欢迎在评论区补充

. X5 W4 [: g7 w6 n/ `

如果你也对MATLAB感兴趣的话,欢迎关注我的微信公众号“打浦桥程序员”

7 G/ V* j$ L; l& i% X6 }; [6 J: Z- S6 ` 8 x6 _: B" y2 W# [# y' H& [2 D& f! u3 Q9 L( X% x% z" A# Q! S - Y5 F8 }. O6 Y
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
三观道人
活跃在2026-4-6
快速回复 返回顶部 返回列表