在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
大数据核心技术：Hadoop与spark
大数据学习需要掌握很多技术知识点，包括Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Scala、SparkSQL、Hbase、Flink、机器学习等。今天主要和大家分享一下Hadoop和spark技术。
7043
2019-06-26 17:59:29
大数据疑难解答 Hbase内部是什么机制？
众所周知，HBase是一个非关系型数据库，它的特征是分布式、列式存储、开源和版本化。无论是在大数据的面试中，还是大数据的工作中，这都是一个经常会出现的难题，然而却很少人能够说清Hbase内部机制。今天我们就花些时间聊聊Hbase内部是什么机制。
6519
2019-10-17 18:13:28
数据中台对企业有哪些意义和作用？
随着数据化浪潮席卷全球，数据中台也由此应运而生。众所周知，数据中台的主要作用在于把数据进行统一标准和口径之后，再进行储存和加工，从而使企业可以提供更高效的服务。简单来讲，数据中台是以节省企业成本，实现精细化运营为目标。那么数据中台对企业到底有哪些具体意义和作用呢？下面我们来具体看一下。
6762
2020-02-10 22:29:52
HDFS基本原理总结
今天继续梳理的知识点是HDFS的基本原理，主要内容包括NameNode概述、DataNode概述、HDFS的工作机制（HDFS写数据流程和HDFS读数据流程），总之全文都是总结的学习干货，希望对于相信大数据的朋友能够有一些帮助，下面我们一起来学习并理解以下的内容吧！
4656
2020-06-15 10:48:02
什么是大数据系统存储及管理？
根据数据存储和管理的内容范围，大数据存储及管理技术需要重点研究如何解决大数据的可存储、可表示、可处理、可靠性及有效传输等。需要解决：海量文件的存储与管理，海量小文件的传输、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性的问题。
5496
2020-12-01 14:32:47
