在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
相信大家都明白开源软件的重要性,好用的开源软件真的是太多了。本文就主要针对大数据领域,给大家推荐十款好用的开源软件,即HBase、Hadoop分布式文件系统、Hive、Spark、Redis、SpagoBI、Lucene、HDP、CDH、HPCC。
1、HBase
HBase是为有数十亿行和数百万列的超大表设计的,这是一种分布式数据库,可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable,不过基于Hadoop和Hadoop分布式文件系统(HDFS)而建。
2、Hadoop分布式文件系统(HDFS)
HDFS是面向Hadoop的文件系统,不过它也可以用作一种独立的分布式文件系统。它基于Java,具有容错性、高度扩展性和高度配置性。支持的操作系统:Windows、Linux和OS X。
3、Hive
Apache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据,这是一种类似SQL的语言。
4、Spark
作为MapReduce之外的一种选择,Spark是一种数据处理引擎。它声称,用在内存中时,其速度比MapReduce最多快100倍;用在磁盘上时,其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用,也可以独立使用。支持的操作系统:Windows、Linux和OS X。
5、Redis
Redis现在由Pivotal赞助,这是一种键值缓存和存储系统。提供收费支持。要注意:虽然该项目并不正式支持Windows,不过微软在GitHub上有一个Windows派生版。支持的操作系统:Linux。
6、SpagoBI
Spago被市场分析师们称为“开源领袖”,它提供商业智能、中间件和质量保证软件,另外还提供Java EE应用程序开发框架。该软件百分之分免费、开源,不过也提供收费的支持、咨询、培训及其他服务。
7、Lucene
基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称,它在现代硬件上每小时能够检索超过150GB的数据,它含有强大而高效的搜索算法。开发工作得到了Apache软件基金会的赞助。
8、HDP
HDP是Apache Hadoop分发版。Hortonworks Data Platform(HDP)用于创建安全的企业数据湖,为企业提供实现快速、实时商业洞察力所需的分析信息。HDP是一个开源大数据的生态系统。
9、CDH
CDH是Apache Hadoop分发版。CDH除没有HDP那样开放开源外,其它都很类似。CDH文档都组织、整理的不错,可作为了解、学习大数据、Apache Hadoop的一个重要资源。
10、HPCC
在Apache Hadoop & Spark统治的大数据市场,HPCC显得弥足珍贵,值得更多关注。HPCC 包括以下核心组件:Thor (the Data Refinery Cluster);Roxie (Rapid Online XML Inquiry Engine, the Query Cluster);ECL (Enterprise Control Language)ECL IDE;ESP (Enterprise Services Platform)。HPCC在安全、身份和风险管理有众多成功案例。
以上十款大数据领域好用的开源软件就推荐到这里了。当然啦,好用的开源软件的还有很多,小编会陆续整理出来。希望本篇文章能够对大家有所帮助。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据的分析软件工具有哪些?都有什么用?
大数据的分析软件工具有哪些?都有什么用?总的来说,大数据有各种各样的分析软件工具,本文要跟大家介绍的是在一些领域被高频率使用,且不可缺少的大数据分析利器,即Excel、SPSS、SAS和stata。正是有了这些软件工具的存在,大数据的分析工作才能更加有效率。
6717
2019-10-16 16:50:27
数据库原理知识点全面讲解
掌握数据库已经成为了每个程序员的必备基本技能,今天我们就来带大家彻彻底底弄数据库原理的相关知识点,内容包括了事务、并发一致性、封锁、隔离级别、多版本并发控制和Next-Key Lock。希望本文全面的讲解可以一次性解决大家关于数据库原理的所有疑问。
6767
2020-04-29 11:10:35
大数据开发常用的工具介绍
Java语言和 Linux操作系统,它们是学习大数据的基础。java:只需了解一些基本知识,不需要用很深的 Java技术来做大数据,学习 java SE等于学习大数据基础。与大数据有关的软件都在 Linux上运行,所以 Linux要学扎实一点,学好Linux对你快速掌握与大数据有关的技术,能让你更好地了解 hadoop, hive, hbase, spark等大数据软件的运行环境和网络环境配置。
5405
2020-07-02 13:49:48
大数据软件学习入门技巧
大数据软件学习入门技巧,一般而言,在进行大数据处理时,会先使用大数据数据库,如 MongoDB、 GBase等。然后利用数据仓库工具,对数据进行清理、转换、处理,得出有价值的数据。接着用数据建模工具建模。最终用大数据工具进行可视化分析。
4410
2020-07-06 15:07:49
大数据Hadoop生态体系中常见的子系统有哪些?
Hadoop是一个针对大量数据进行分布式处理的软件框架,是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算,具有可靠、高效、可伸缩的特点,很多程序会用到这个框架。
4964
2021-03-17 13:58:05