在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
大数据对企业的意义是什么？有哪些大数据经典案例？
大数据技术的意义是什么？对于企业而言，可以根据大数据的分析使产品更加符合消费者的需求，根据目标用户特征锁定精准用户群体，同时还可以通过数据制定更好的推广方案，提高有效转化率，也可以帮助企业在危机来临之前展示预警功能，从而降低相应的损失。那有哪些我们知道的大数据经典案例呢？下面我们一起来看一下吧。
9585
2019-07-16 18:21:12
大数据应用技术的发展方向分析
如今，大数据的应用对企业公司以及个人都产生了深远影响，本文就来预测一下大数据应用技术的发展方向。可以预见的是，数据资产管理、数据资产管理、AI驱动的数据基础设施、面向AI的分布式计算框架和数据安全这些都将成为大数据应用技术的发展方向。对大数据应用技术感兴趣的小伙伴，可以接着往下看小编的的详细分析。
6444
2019-10-29 17:24:18
大数据技术就业前景好不好？
大数据技术就业前景好不好？现如今，大数据应用非常广泛，各行各业都开始应用，所以说当前大数据行业真的是人才稀缺尤其是数据分析人才最稀缺。所以让小编跟你说一说，目前大数据行业的大概情况吧。
4805
2020-03-26 22:21:32
什么是大数据系统存储及管理？
根据数据存储和管理的内容范围，大数据存储及管理技术需要重点研究如何解决大数据的可存储、可表示、可处理、可靠性及有效传输等。需要解决：海量文件的存储与管理，海量小文件的传输、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性的问题。
5893
2020-12-01 14:32:47
大数据Storm分布式实时处理框架是什么？用在哪儿？
大数据Storm分布式实时处理框架是什么？用在哪儿？Storm是Twitter开源的分布式实时大数据处理框架，是一个免费的开源分布式实时计算系统，使用起来比较简单可以与任何编程语言一起使用。Apache Storm有很多用例如实时分析、在线机器学习、连续计算、分布式RPC、ETL等。
3535
2022-03-01 14:13:44
