在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。本文主要内容有Spark运行架构的流程讲解和Spark运行架构的特点分析，感兴趣的小伙伴就赶紧看下去吧！
1、Spark 运行基本流程：
（1）构建 Spark Application 的运行环境（启动 SparkContext），SparkContext 向资源管理器（可以是 Standalone、Mesos 或 YARN）注册并申请运行 Executor 资源。
（2）资源管理器分配 Executor 资源并启动 Executor，Executor 运行情况将随着心跳发送到资源管理器上。
（3）SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage，并把 Taskset发送给 Task Scheduler。Executor 向 SparkContext 申请 Task，Task Scheduler 将Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor。
（4）Task 在 Executor 上运行，运行完毕释放所有资源。
2、Spark 运行架构的特点：
（1）每个 Application 获取专属的 executor 进程，该进程在 Application 期间一直驻留，并以多线程方式运行 tasks。
（2）Spark 任务与资源管理器无关，只要能够获取 executor 进程，并能保持相互通信就可以了。
（3）提交 SparkContext 的 Client 应该靠近 Worker 节点（运行 Executor 的节点)，最好是在同一个 Rack 里，因为 Spark 程序运行过程中SparkContext 和Executor 之间有大量的信息交换；如果想在远程集群中运行，最好使用 RPC 将SparkContext 提交给集群，不要远离 Worker 运行 SparkContext。
（4）Task 采用了数据本地性和推测执行的优化机制。
以上就是Spark运行架构及其特点的讲解，大家都听明白了吗？
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hbase面试题汇总
下一篇：
你那么努力为什么还又穷又忙？数据分析直播课预告
相关推荐 更多
浅析五种编程模型
编程模型，我们可以简单地理解为，它就是模板，遇到相似问题就可以方便依模板解决,这样就简化了编程问题。不同的编程环境和不同的应用对象有不同的编程模型。编程模型也是学习编程内容中的基础知识，小编带着大家来浅析五种编程模型。
8034
2019-08-14 10:32:27
学大数据技术必须了解的大数据经典应用案例
我们已经进入了数据化的时代，大数据开发技术、数据分析已经成为目前企业最核心的关注点。数据为企业提供了更加可靠的支撑，对于优化产业结构、提升生产效率有非常明显的作用。在企业纷纷布局大数据业务的同时，大数据相关人才缺口逐渐扩大。目前国内大数据相关从业人员已经超过20万，作为大数据从业人员，必须了解一些大数据相关的经典应用案例。
6273
2019-08-22 18:03:14
零基础学大数据现实吗？需要经历哪些过程？
零基础学大数据现实吗？需要经历哪些过程？首先我们要明白学习任何东西都是从无到有，零基础学习大数据并没有什么劣势，只不过是比有一定编程基础的学习者多付出一些努力，因此不要随意给自己设限，认为零基础这不能学，那不能学。其次零基础学习者要学好大数据无外乎两点，一是清晰的学习内容规划，二是适合自己的学习模式。下面小编就来讲讲零基础如何学习大数据。
6976
2019-10-09 16:02:32
学习云计算需要学什么？
学习云计算需要学什么？云计算对于学历有时并没有硬性要求，一般都是专科，本科。但专业能力强对于学历要求就没那么严格了，因为云计算市场现在人才比较紧缺。学习云计算工作的方向比较多，像计算机网络系统研发、软件测试与开发、办公自动化处理、网络管理与维护、网页制作和面向云计算相关的行业都是学习云计算工作的方向。
5736
2020-07-09 14:59:07
Hadoop HDFS分布式文件系统原理及应用介绍
HDFS有着高容错性特点，且设计用来部署在低廉的硬件上，提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以实现流的形式访问文件系统中的数据。
4028
2021-04-13 16:30:33
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么？先掌握这三大核心关键技术
- 前端开发的工作方向有哪些？
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试？两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些，才能成为架构师 查看更多
扫描二维码，了解更多信息
