spark 优化套路

spark整个api上手较为简单，scala表达起来比较顺畅，java根据spark官方文档，理解scala的几个特性即可。

spark离线处理优化

目的减少无效操作，io cpu的有效利用，直接查优化技巧，不如先搞明白spark处理过程。明白以下再对应代码可以解决很多问题。

1. DAG图对应代码 明白过程

2. stages tasks对应实现层

3. shuff过程，如何减少shuff，必须shuff则看写文件io有效利用率。常见的文件太多则合并文件。

比如：本地spark sql跑两张表join外带where group操作，遇到shuff就200个，手动repartition无效，肯定是默认参数在join指定，查文档修改生效。时间从13秒下降到1s内。

有意思的是根据show这个操作，最后的task任务数为1，不符合partitions到reduce的数量比，最后看了下是这个操作本事的问题，默认读取数量调用head，不需要获取所有partitions

streaming性能与精确性

1. 时间片内精确性：tran操作转换保证，内置表达无问题

2. 时间片外的精确性 ：需要存储数据，性能损耗考虑，所以一般实时数据用，过一定时间用离线计算来补足，比如主动营销效果分析，最近几分钟的数据可以实时，一小时前的数据完全可以通过离线统计如hbase+spark

3. 外部数据精确性 还是时间片数据去重，不依赖外部，跨时间片参考2

4. 挂掉恢复精确 常用的读取kafka，自己控制offsets ，如我们通常的程序也会自己控制offsets

5. kafka时间片内堆积数据太多，参数控制每秒max消息

6. 每个rdd对外部数据的操作批量到partitions

7. 多个指标统计统计，转换结构与action过程能合并最好，具体DAG逻辑图，减少shuff。比较简单看到rdd转换多个相同key的单value，那么还不如直接转换为 key,list

关键字：spark, shuff, 离线

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！