ITeye博客

zhou_yuefei的博客

zhou_yuefei · 共 28 篇文章

[置顶] 7.spark Streaming 技术内幕 : 从DSteam到RDD全过程解析

7.spark Streaming 技术内幕 : 从DSteam到RDD全过程解析 **原创文章,转载请注明:**转载自 周岳飞博客 ( http://zhou-yuefei.iteye.com/ ) 上篇博客讨论了Spark Streaming 程序动态生成Job的过程,并留下一个疑问: JobScheduler将动态生成的Job提交,然后调用了Job对象的run方法,最后run方法的调用是如何触发RDD的Action操作,从而真正触发Job的执行的呢?本文就具体讲解这个问题。 一、DStream和RDD的关系 DSream 代表了一系列连续的RDD,DStream中每个RDD包含特定时间…

2016-05-20 12:34 · spark streaming内幕 · 评论(0)

Spark 源码解析 : DAGScheduler中的DAG划分与提交

一、Spark 运行架构 Spark 运行架构如下图: 各个RDD之间存在着依赖关系,这些依赖关系形成有向无环图DAG,DAGScheduler对这些依赖关系形成的DAG,进行Stage划分,划分的规则很简单,从后往前回溯,遇到窄依赖加入本stage,遇见宽依赖进行Stage切分。完成了Stage的划分,DAGScheduler基于每个Stage生成TaskSet,并将TaskSet提交给TaskScheduler。TaskScheduler 负责具体的task调度,在Worker节点上启动task。 二、源码解析:DAGScheduler中的DAG划分 当RDD触发一个Action操作(如…

2016-07-20 10:35 · spark内核解密 · 评论(0)

16.Spark Streaming源码解读之数据清理机制解析

**原创文章,转载请注明:**转载自 听风居士 博客(http://zhou-yuefei.iteye.com/ ) 本期内容: 一、Spark Streaming 数据清理总览 二、Spark Streaming 数据清理过程详解 三、Spark Streaming 数据清理的触发机制 Spark Streaming不像普通Spark 的应用程序,普通Spark程序运行完成后,中间数据会随着SparkContext的关闭而被销毁,而Spark Streaming一直在运行,不断计算,每一秒中在不断运行都会产生大量的中间数据,所以需要对对象及元数据需要定期清理。每个batch duratio…

2016-07-01 15:13 · 评论(0)

14.Spark Streaming源码解读:State管理之updateStateByKey和mapWithState解密

首先简单解释一下什么是state(状态)管理?我们以wordcount为例。每个batchInterval会计算当前batch的单词计数,那如果需要计算从流开始到目前为止的单词出现的次数,该如计算呢?SparkStreaming提供了两种方法:updateStateByKey和mapWithState 。mapWithState 是1.6版本新增功能,目前属于实验阶段。mapWithState具官方说性能较updateStateByKey提升10倍。那么我们来看看他们到底是如何实现的。 一、updateStateByKey 解析 1.1 updateStateByKey 的使用实例 首先看一…

2016-06-04 00:10 · spark streaming 高级 · 评论(0)

15、Spark Streaming源码解读之No Receivers彻底思考

版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明,否则将追究法律责任。 在前几期文章里讲了带Receiver的Spark Streaming 应用的相关源码解读,但是现在开发Spark Streaming的应用越来越多的采用No Receivers(Direct Approach)的方式,No Receiver的方式的优势: 1. 更强的控制自由度 2. 语义一致性 其实No Receivers的方式更符合我们读取数据,操作数据的思路的。因为Spark 本身是一个计算框架,他底层会有数据来源,如果没有Receivers,我们直接操作数据来源,这其实…

2016-06-03 09:07 · spark streaming 高级 · 评论(0)

第12课:Spark Streaming源码解读之Executor容错安全性

一、Spark Streaming 数据安全性的考虑: Spark Streaming不断的接收数据,并且不断的产生Job,不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。 Spark Streaming是基于Spark Core之上的,如果能够确保数据安全可好的话,在Spark Streaming生成Job的时候里面是基于RDD,即使运行的时候出现问题,那么Spark Streaming也可以借助Spark Core的容错机制自动容错。 对Executor容错主要是对数据的安全容错 为啥这里不考虑对数据计算的容错:计算的时候Spark Streaming是借助于Sp…

2016-05-28 23:22 · 评论(0)

11.Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究

原创文章,转载请注明:**转载自 听风居士博客 ( http://zhou-yuefei.iteye.com/ ) 上篇文章详细解析了Receiver不断接收数据的过程,在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker: 本文将详细解析ReceiverTracker的的架构设计和具体实现 一、ReceiverTracker的主要功能 ReceiverTracker的主要功能有: 1.在Executor上启动Receivers 2.接受Receiver的注册 3.借助ReceivedBlockTracker来管理Receiver接收数据的元数据 4.接受R…

2016-05-28 12:39 · spark streaming 高级 · 评论(0)

10.Spark Streaming源码分析:Receiver数据接收全过程详解

原创文章,转载请注明:转载自 听风居士 博客(http://zhou-yuefei.iteye.com/ ) 在上一篇中介绍了Receiver的整体架构和设计原理,本篇内容主要介绍Receiver在Executor中数据接收和存储过程 一、Receiver启动过程回顾 如图,从ReceiverTracker的start方法开始,调用launchReceivers()方法,给endpoint发送消息,endpoint.send(StartAllReceivers(receivers)),endpoint就是ReceiverTrackerEndpoint,ReceiverTrackerEndpo…

2016-05-26 14:22 · spark streaming 高级 · 评论(0)

9. Spark Streaming技术内幕 : Receiver在Driver的精妙实现全生命周期彻底研究和思考

**原创文章,转载请注明:**转载自 听风居士 博客 ( http://zhou-yuefei.iteye.com/ ) Spark streaming 程序需要不断接收新数据,然后进行业务逻辑处理,而用于接受数据的就是Recever。显然Receiver的正常运行对应整个Spark Streaming应用程序至关重要,如果Receiver出现异常,后面的业务逻辑就无从谈起。Spark Streaming 是如何实现Receiver以保证其可靠性的,本文将结合Spark Streaming的Receiver源码实现详细解析Receiver的实现原理。 一、Receiver 实现策略思考 1、…

2016-05-23 17:14 · spark streaming 高级 · 评论(0)

6.Spark streaming技术内幕 : Job动态生成原理与源码解析

**原创文章,转载请注明:**转载自 周岳飞博客 ( http://zhou-yuefei.iteye.com/ ) Spark streaming 程序的运行过程是将DStream的操作转化成RDD的操作,Spark Streaming 和 Spark Core 的关系如下图(图片来自spark官网) Spark Streaming 会按照程序设定的时间间隔不断动态生成Job来处理输入数据,这里的Job生成是指将Spark Streaming 的程序翻译成Spark内核的RDD操作,翻译的过程并不会触发Job的运行,Spark Streaming 会将翻译的处理逻辑封装在Job对象中,最后…

2016-05-17 23:37 · spark streaming内幕 · 评论(0)

6.Spark streaming技术内幕 : Job动态生成原理与源码解析

** 原创文章,转载请注明:**转载自 周岳飞博客 (http://zhou-yuefei.iteye.com/ ) Spark streaming 程序的运行过程是将DStream的操作转化成RDD的操作,Spark Streaming 和 Spark Core 的关系如下图(图片来自spark官网) Spark Streaming 会按照程序设定的时间间隔不断动态生成Job来处理输入数据,这里的Job生成是指将Spark Streaming 的程序翻译成Spark内核的RDD操作,翻译的过程并不会触发Job的运行,Spark Streaming 会将翻译的处理逻辑封装在Job对象中,最后…

2016-05-17 23:16 · spark streaming内幕 · 评论(0)

5.Spark Streaming流计算框架的运行流程源码分析

1 spark streaming 程序代码实例 代码如下: object OnlineTheTop3ItemForEachCategory2DB { def main(args: Array[String]){ val conf = new SparkConf() //创建SparkConf对象 //设置应用程序的名称,在程序运行的监控界面可以看到名称 conf.setAppName("OnlineTheTop3ItemForEachCategory2DB") conf.setMaster("spark://Master:7077") //此时,程序在Spark集群 //设置batchDu…

2016-05-11 14:11 · spark streaming 高级 · 评论(0)

3.spark streaming Job 架构和容错解析

一.Spark streaming Job 架构 SparkStreaming框架会自动启动Job并每隔BatchDuration时间会自动触发Job的调用。 Spark Streaming的Job 分为两大类: 每隔BatchInterval时间片就会产生的一个个Job,这里的Job并不是Spark Core中的Job,它只是基于DStreamGraph而生成的RDD的DAG而已;从Java角度讲相当于Runnable接口的实现类,要想运行Job需要将Job提交给JobScheduler,在JobScheduler内部会通过线程池的方式创建运行Job的一个个线程,当找到一个空闲的线程后会将…

2016-05-08 18:41 · spark streaming 高级 · 评论(0)

35.Spark系统运行内幕机制循环流程

一:TaskScheduler原理解密 1, DAGScheduler在提交TaskSet给底层调度器的时候是面向接口TaskScheduler的,这符合面向对象中依赖抽象而不依赖的原则,带来底层资源调度器的可插拔性,导致Spark可以运行的众多的资源调度器模式上,例如Standalone、Yarn、Mesos、Local、EC2、其它自定义的资源调度器;在Standalone的模式下我们聚焦于TaskSchedulerImpl; 2, 在SparkContext实例化的时候通过 createTaskScheduler来创建TaskSchedulerImpl和SparkDEploySched…

2016-05-03 10:26 · spark内核解密 · 评论(0)

25.Spark Sort-Based Shuffle内幕彻底解密

一:为什么需要Sort-Based Shuffle? 1, Shuffle一般包含两个阶段任务: **第一部分:**产生Shuffle数据的阶段(Map阶段,额外补充,需要实现ShuffleManager中的getWriter来写数据(数据可以通过BlockManager写到Memory,Disk,Tachyon等,例如想非常快的Shuffle,此时可以考虑把数据写在内存中,但是内存不稳定,所以可以考虑增加副本。建议采用MEMONY_AND_DISK方式); **第二部分:**使用Shuffle数据的阶段(Reduce阶段,额外补充,Shuffle读数据:需要实现ShuffleManager…

2016-04-26 20:52 · spark内核解密 · 评论(0)