|
% `+ i( p! a } 如何去思考并研究气象问题本身是一个需要不断学习和练习的过程,大量高质量的项目可以加深我们对气象科学中经典模式的深刻理解,从而可以掌握用合适的机器学习方法去进行气象研究和应用。在这里,我们集结了和鲸社区内优质的气象数据科学教程&项目,为气象er们提供了学习+实战的最佳平台!
8 u9 c3 i* n+ j 和鲸社区提供了相对自由的学习、研究、应用的方式,你可以在社区获得: K+ e# r* }2 Y
气象数据科学语言教程用 Fortran/Python 语言进行数据读取/数据处理/数据分析/数值计算的实用气象项目气象可视化应用(雷达数据、地理信息数据、海洋数据等)项目阶梯难度的机器学习算法项目优秀气象项目/论文的整体复现 9 }7 u' I( I- L
同时,你也可以系统地精进实战能力!训练营、Workshop 和练习赛等系列活动极大地丰富了气象研究的应用场景,从小白到进阶高手,与20w 数据科学业内人士+近1000位气象人同场竞技: 7 M6 K1 _8 B3 f
题目全部来自业内大牛提供的气象场景案例不用处理环境装包,精力全放在解决具体气象问题上支持多种气象数据科学主流语言:Python、Fortran、Julia、R活动提供讨论区进行讨论,可以参考别人的思路,灵活交流和分享复现自动出分,实时获取每次代码实践的准确性和算法效率,精确了解个人代码在所有提交代码中运行效率排名
! j1 t3 s. K! m; w3 y 另外,在线数据科学平台 ModelWhale提供了学习和研究气象的工具及开箱即用的编程环境:
, r: M- v5 G5 f$ ~' R 环境免安装,一键复现和鲸社区优秀丰富的气象数据科学教程和项目内置 Cartopy 等海量镜像,Python、Julia、R、Fortran 登录即用,并支持 WRF 模式Canvas 无代码图形化建模、Notebook 编程随需选用,还可相互转化GPU 分布式离线训练,训练记录超参数比对多类型数据源灵活接入,数据权限分级管理,数据安全有效保障 ! G4 ~ r* h3 T \& E
所有的社区资源,都确保代码的完整,及在对应镜像下一键运行复现!(注:如有疑问欢迎留言与技术小哥切磋)铺垫结束,下面正文开始!
% C( s0 K# q9 B 1.气象数据科学语言教程(1)Python 基础
* B4 R9 y! |. A k+ p7 ^ 说明:Python 在气象、人工智能、机器学习领域受到火热追捧,很大程度上在于它拥有非常庞大的第三方库,以及强大的通用编程性能。因此,想要逐渐掌握 Python 数据分析,可以通过学习和了解如何利用 Python 调用 Python 的各种第三方库和工具包,感受运用 Python 进行数据分析的便利性。
) {+ j7 @/ ~: q6 O& O 科赛 x 机器之心从零上手Python关键代码
& O5 F0 R+ y5 T1 x" I: V( w3 h6 k Python基础 Python100例
7 M# e# e. {) V Python入门教程
( r. P+ Y6 Z$ u. R9 U# M: M: u (2)Numpy教程 % E$ f6 q5 x; _* D5 ^' N
说明:Numpy 是 Python 数值计算的基石,它提供多种数据结构、算法以及大部分设计 Python 数值计算所需的接口。Numpy 能够赋予 Python 快速处理数组的能力,除此之外,Numpy 的另一个主要用途是在算法和库之间作为数据传递的数据容器。 2 H" J+ R" g3 {, j. ?1 V1 t
教程: ) f2 a: D- S0 U: E' X/ i
Numpy快速上手指南——基础篇
6 H7 e: N+ x: D# e( w0 m Numpy快速上手指南——进阶篇
0 Q; ?# g/ s" B9 }6 g6 }# r3 H Numpy入门教程 , r# l" t. x7 _4 H+ H. y& {& \1 D
Numpy实战全集 1 G% }' n9 {' J: g5 h1 ]* d
练习题: . c j3 P, \% i: f3 b0 S1 Q( G
这100道练习,带你玩转Numpy
q0 @$ ]4 I3 K! b# O" `1 p (3)Pandas教程 : h: a: M! B' |, s3 s
说明:Pandas 为数据分析提供了高级数据结构和函数,使得利用结构化、表格化数据的工作快速、简单、表现力。做数据分析主要使用的 Pandas 对象是 DataFrame(用于实现表格化、面向列、使用行列标签的数据结构)和 Series(一种一维标签数组对象)。 . Q( H6 ?' {& [7 w6 W$ I2 m! X% S" C
教程:
: w3 y; G" x) F) U* w1 h Pandas入门教程(1)
; o/ y0 K6 E6 r$ |: U, F Pandas入门教程(2)
, l) {9 S5 F) g7 B' T" Z% V Pandas入门教程(3)
3 }) {3 x! z3 z$ j8 [ 【Pandas教程】像写SQL一样用Pandas
/ _9 w1 C2 P1 `. B: | 高效分析:如何用pandas快速处理数据
- F7 \' Z! ]' J- t7 e% [ Pandas基础命令速查表 7 k! I! j& X2 G2 m& W e
练习题:
1 h" D( n/ Y3 [/ ^7 z& \. Z Pandas120题 5 G' i W3 j. o7 Q W X
50道练习带你玩转Pandas 5 t5 M& s/ v* J! }
这十套练习,教你如何使用Pandas做数据分析 # U' `( {$ a/ E
(4)Xarray实例
* C7 {5 O/ T' t7 }- E 说明:由于气象数据大多为多维数据,Xarray 提供了一种高效读取和处理多维数据的方式方法,它特别适合处理 netCDF 文件,在类似于 NumPy 的原始数组上以尺寸、坐标和属性的形式引入标签,从而能提供给研究人员更直观,更简洁和更少出错的体验。该软件包包括一个庞大且不断增长的功能库,使用这些数据结构可以实现对气象数据的高级分析和可视化。 / S! j( m' B0 Q
xarray实例大全-目录气象行业数据分析案例 . W) K5 k+ ]& ^/ D6 l9 r8 k
xarray实例大全(一)-气象数据示例
! s' Q$ |: ~. g xarray实例大全(二)-月平均时间序列计算季节性平均值 $ H8 y* X" D7 |8 H3 j# ^
xarray实例大全(三)-比较加权与非加权平均温度 ! S; S. n1 g" C2 \
xarray实例大全(四)-多维坐标的使用
k' w0 V+ S3 N/ a" M g* c xarray实例大全(五)-可视化库 : ^& Z8 m2 Y6 e3 q( \: |
xarray实例大全(六)-ROMS海洋模型示例 * i0 ? d+ x, S9 @6 N
xarray实例大全(七)-GRIB数据示例
- {; B$ t: r9 n& q1 v xarray实例大全(八)-使用applyufunc
9 s& H! M, B) ` t J1 ] xarray高阶利用dask并行读取数据 ! G4 o" k. f4 J1 B/ Z
2.气象数据读取/数据处理/数据分析/数值计算 4 Y- M7 I' S4 Q' e' k% s6 G' l2 v
Workshop第一期:初探气象数据Part1
, y, K0 N8 |; j9 V4 N: ^* l: } Workshop第一期:初探气象数据Part2 2 H1 F2 x+ \7 s- }, g1 B, U
Python读取气象数据nc格式文件的入门级操作
+ @& S; z0 Q& ?6 _# M5 ^7 C' h Python处理HDF格式数据示例 4 ^8 y: K0 ]0 b* l+ V6 n
利用Python的requests和json包获取台风数据
" n4 t" C% G' w" |; L 基于Python的Grads文件解析
3 G" [% `* g E# e/ e$ v' {% z CALIPSO卫星数据处理
8 h- n1 M- W: L% D; {) u' F 摸鱼的气象& ython ! T) o' T. e6 H+ i$ V
Python之以温度为例的气象数据缺测处理方法
. S1 u% O0 s$ S* ` Python之一个简单的风数据处理和分析案例 2 N0 m. c& O; @# P3 d8 N1 Q
常用气象数据下载——ERA5再分析(grib格式)
' g7 K/ Z- \2 M: j% b/ ?0 ] 常用气象数据下载——我国台风历史轨迹数据 - A& y u& h. @% f2 R! a) f5 _3 Q
常用气象数据下载——耦合模式比较计划(CMIP6)
, K: ?6 K1 ^' m- ^ E 常用气象数据下载——TEMIS遥感数据 + V& ]% u# Q7 Q2 k
常用气象数据下载——实时空气质量数据 0 i# z( W9 x4 L. `2 ~" g, c
常用气象数据下载——Hamawari8
" v! S" B' ?6 c7 b, u! N7 j 常用气象数据下载——NCEP再分析资料
4 S/ \# a8 L0 a+ y' k$ O9 v9 | 常用气象数据下载——探空资料 * K7 i1 A& U: }
气象之批量下载气象数据(EC;NCEP;CMIP)(python)
$ t0 b s7 B4 J) ^/ P, C4 ~6 d& `. y 气候变化趋势分析常用方法
* Q; M( |1 ]0 N; z0 Y% i 气象分析之气候变量场时空结构的分离-EOF
" p7 G. w9 r# J4 a* }- l8 W 气象数据处理——重采样(Regridding)
& \$ m: i) o5 g 气象数据处理——湿位涡剖面分析
2 c) U( K/ I4 S& p! p 气象数据分析——集合经验模态分解(EEMD)
+ ?% g2 b: j+ w4 g 气象数据分析——相关系数与时间相关系数 ; {! P! l2 F5 O& K1 t4 z0 D" I
气象数据分析——旋转经验正交函数(REOF)
- _ d& G7 e( t: G5 v& [% Q! {9 s 气象数据分析——经验正交分解(EOF)
2 |& G5 d; L6 A+ w! I. v& p+ R 气象数据分析——我国逐年降水的经验正交分解
7 Y# t ?. }! Y 气象数据处理加速器——cdo
. `& a3 [& l" L$ X; B1 C7 N 气象数据统计方法 8 P; z; s5 t6 x: q8 w7 T
供水管网压力预测(异常识别与缺失补全)
* N9 c- E" k$ n6 M9 s0 C0 W 特征重要性评估——Lasso回归系数 6 F' ~/ A5 e+ J. k
2020华为杯E题——数据探索性分析 ( u) _0 r" j/ _, e9 x
WRF模式模拟数据后处理(计算篇) $ n7 ]) c" ]9 u5 |
结构方程模型(SEM)构建
V# {* h) u# n: g 多元多项式回归拟合能见度
6 w5 ^2 V! f: S0 y( z 两个变量场的相关分析——SVD分解
# {: \8 M2 h6 Q. o$ |3 c+ M7 K( k 小波分析——海温数据的时频域分解
D$ V' k3 Z5 d1 g2 {5 U 基于DEM数据计算坡向、坡度和流向
- M: T+ l5 n) N3 s& ^- A0 I, L 基于随机森林对特征重要性排序
/ U4 t5 f% D b 基于DBSCAN算法的人类活动GPS数据挖掘 0 i: [9 ]/ @" z/ q% S8 @) L& r0 F
基于ERA5数据分析中国区域气温与降水数据的时空分布
2 P6 n- k# L, U/ i0 ]/ T 最常见的10种图像滤波方法 1 f+ t+ e3 a! i/ b% W3 o
3.气象可视化(1)Cartopy绘图教程
* |, [5 g4 s" q" a j, P$ ^/ b 气象数据可视化库-Cartopy官网例程大全(中文翻译版)
8 U" d4 ]6 b: U+ Z# s; h$ k' N, a Cartopy——绘制不同投影的地图
7 X. |+ R, @) m% p Cartopy 调用天地图在线服务(原创)
% X6 s1 y7 R# o0 |* b Cartopy绘图中国地图最正确的使用方式
, X. T/ d. O: V9 b1 h (2)Metpy绘图教程 ! c* B+ @% c7 a4 s! k- n7 }' Z
Metpy气象数据可视化库官网例程大全——目录 % p% T& Y1 h3 |6 Y
大气科学可视化示例——降水量 % i; e4 u2 \/ h, \6 ~7 U' l
大气科学可视化示例——AWS S3 NEXRAD 档案存取和绘图 * K7 l. d* X1 ~( P
大气科学可视化示例——声明300hPa
* |- U; ~ S% y( d, y. K; W 大气科学可视化示例——飓风追踪器 - d1 p8 S G- r2 `
大气科学可视化示例——观测数据截面 ; `9 _! ]& A' I* v% ^. i
大气科学可视化示例——在旧版DIFAX图表上高空观测 . ?: `" A1 v, Z& F6 S v
大气科学可视化示例——风切变矢量
( X( a4 l. E- x0 u; q9 F
' @& U& L2 V3 u, }: ~; k4 P8 m7 A( E% {1 B
! L8 u, S+ t5 `( m' q5 _$ `
. M) z. E/ Y1 X' ]" }, z$ Q
2 l" ^# n$ \+ r7 T; _ |