在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
在大数据工程师的面试过程中，编程模型的相关问题常常是绕不过去的一个考点。同时编程模型也是大数据工程师工作中非常重要的知识技能。下面就来讲讲Spout、Bolt、并行度、消息不丢失这几方面的内容，感兴趣的小伙伴就赶紧接着看下去吧！
1、Spout
Spout 是接受外部数据源的组件，将外部数据源转化成 Storm 内部的数据， 以 Tuple 为基本的传输单元下发给 Bolt。（Tuple 是 Storm 内部中数据传输的基本单元，里面封装了一个 List 对象，用来保存数据。）
2、Bolt
Bolt 是接受 Spout 发送的数据，或上游的 bolt 的发送的数据。根据业务逻辑进行处理。发送给下一个 Bolt 或者是存储到某种介质上。介质可以是 mongodb 或 mysql，或者其他。
3、并行度
Worker：表示一个进程。
Executor：表示由 worker 启动的线程。
Task：实际执行数据处理的最小工作单元（注意，task 并不是线程）。
并行度的设置：评估上游 kafka 每秒生产的数据量，分析 topic 每个 partition。每秒的数据量，partition 的数据量=SpoutTask 接受数据量SpoutTask 数量=partition 的数量。
Worker 的设置：如果数据量大，worker 的数量等于 spouttask 的数量。
4、消息不丢失
ack 机制即， spout 发送的每一条消息，在规定的时间内，spout 收到 Acker 的 ack 响应，即认为该 tuple 被后，续 bolt 成功处理。在规定的时间内，没有收到 Acker 的 ack 响应 tuple，就触发 fail 动作， 即认为该 tuple 处理失败，或者收到 Acker 发送的 fail 响应 tuple，也认为失败，触发 fail 动作。通过 Ack 机制，spout 发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在 Meta 中，成功被处理，即可更新偏移量，当失败时，重复发送数据。因此，通过 Ack 机制，很容易做到保证所有数据均被处理，一条都不漏。
以上就是大数据工程师有关编程模型知识点的常见面试题，大家都弄明白了吗？想要了解大数据工程师更多的面试问题，可以来博学谷官网体验大数据就业指导课程。认真学完一套就业指导课程，一定能够帮助大家从众多面试者中脱颖而出。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
云计算是什么？云计算的通俗解释
下一篇：
学完云计算和大数据好找工作吗?可以胜任哪些岗位呢？
相关推荐 更多
大数据Hbase面试宝典（下）
在大数据Hbase的面试中只有做好充足的准备，才能以不变应万变。下面和大家分享小编最后整理的大数据Hbase面试宝典最终章。
7208
2019-07-04 18:28:51
大数据面试题之分布式资源调度框架Yarn
Yarn作为一个资源管理、任务调度的框架，其重要性不言而喻。尤其是在近些年的大数据面试中，更是面试题的重点知识之一。为了大家在面试的时候，能够准备的更加充分，小编整理了一份有关分布式资源调度框架Yarn的大数据面试题,内容包括Yarn的架构、工作流程、调度器Scheduler。
7567
2019-09-12 11:00:53
大数据疑难解答 Hbase内部是什么机制？
众所周知，HBase是一个非关系型数据库，它的特征是分布式、列式存储、开源和版本化。无论是在大数据的面试中，还是大数据的工作中，这都是一个经常会出现的难题，然而却很少人能够说清Hbase内部机制。今天我们就花些时间聊聊Hbase内部是什么机制。
6910
2019-10-17 18:13:28
深度学习工程师必须掌握的神经网络架构
深度学习工程师必须掌握的神经网络架构，神经网络架构分为四大类：标准网络、递归网络、卷积网络、自动编码器。神经网络可以用来可视化的数据包含两部分：每一层神经元的输出，它们对应输入数据在网络中的不同表示每个神经元所学习到的权重，刻画着各个神经元的行为，即如何对输入进行响应的。
5874
2020-07-01 17:34:28
大数据开发工程师是做什么的？岗位要求高吗？
大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术要求较高。
8907
2020-09-03 11:23:41
