在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
大数据开发工程师招聘要求高吗?大数据开发工程师该岗位对于技术要求较高,有一定的技术门槛。大数据工程师不少细分方向,不同的方向需要具备不同的知识结构,分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维。
大数据开发工程师负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等内容。必须数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发:开发平台、调度系统、元数据平台等工具。
大数据开发工程师招聘要求较高,接下来下边分享下一些企业对于该岗位的要求:
A公司大数据开发工程师招聘要求:
工作职责:
1、基于海量数据,支持业务对数据的分析和使用;
2、支持业务处理数据的流式处理、分析客户行为等。
任职要求:
1、精通至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力 ;
2、熟悉常用的开源组件:Hadoop/Hive/Spark/Storm,并了解其特性和使用场景优先;
3、熟悉机器学习、数据挖掘、数据分析、分布式计算至少某一方面,有较深的理论研究和实践经验优先;
4、数据分析、推荐、机器学习、数据挖掘相关的开发工作优先。
B公司大数据开发工程师招聘要求:
职责描述:
1.负责大数据接入、存储、分析、监控等系统的开发工作。
2.负责业务数据的采集、存储、清洗、分析和数据逻辑接口开发。
3.负责Hive、Spark、HBase、Kafka等组件的性能优化工作。
4.大规模数据分析、数据挖掘和机器学习算法的实现。
任职要求:
1、本科以上学历,计算机、数学相关专业,1年以上基于大数据开发经验;
2、理解分布式系统概念、思想,扎实的编程基础,熟悉Hadoop(HDFS/MapReduce/Hive/HBase)、Spark、Kafka、Flume、Dubbo等类框架两种以上,至少有1个以上成熟项目经验;
3、熟悉Java、python至少一种开发语言,熟悉SQL开发和调优,熟悉Linux操作系统;
4、能独立开展离线数据分析、流数据计算、海量数据实时查询等相关应用的开发工作;
5、能独立分析和解决问题,有较强的书面与口头沟通表达能力;
6、工作踏实,良好的团队工作和协作能力;
大数据工程师的工作内容简单通俗的来说就是分析历史、预测未来、优化选择。要具备大数据基础知识、大数据平台知识和大数据场景知识三方面的知识结构。大数据基础知识:数学基础、统计学基础和计算机基础。具备数学基础、统计学基础知及计算机基础。能够搭建与优化大数据基础平台、大数据能力开放平台、大数据交易平台;基于大数据平台的数据仓库工具Hive/Spark/HBase, ETL调度工具,数据同步工具的开发、使用、集成和自动化运维,以及多租户与权限控制策略的实现;研发基于大数据平台的数据仓库平台产品。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据与人工智能对保险行业的风险控制与挑战
大数据与人工智能对保险行业的风险控制与挑战,万物互联、大数据与人工智能是改变根本的技术革命。它在很大程度上解决了困扰人类几千年的信息不充分、不对称的问题,极大地提高了人类整合资源、协调行动、科学决策的能力,必将引发一场空前的社会大变革。
9377
2019-04-11 14:11:31
大数据培训班是骗局吗?大数据培训班到底坑不坑?
近些年,大数据的概念火热,就业前景广阔,相信很多人都因此想要学习大数据。但是由于自学效率低不适合大部分人,所以很多人考虑到参加大数据培训班。但是想要参加大数据培训班的同学不免担心,大数据培训班是骗局吗?其实问题答案很简单,大数据培训班当然不是骗局,大数据培训班到底坑不坑?那就要看你怎么选择培训机构了。
38693
2019-08-08 17:27:28
ZooKeeper数据模型解析
ZooKeeper的数据模型采用树形层次结构,而Znode就是ZooKeeper树中的每个节点。和文件系统的目录树一样,ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处: 比如Znode兼具文件和目录两种特点,而且它还具有原子性操作,存储数据大小也有限制。另外,Znode还是通过路径引用。下面我们来看看数据结构图、节点类型、节点属性以及ZooKeeper Watcher相关内容。
4592
2020-06-15 10:32:03
Hadoop集群搭建过程总结
本文主要总结了Hadoop集群搭建的过程,内容包括发行版本说明、Hadoop集群简介、服务器准备、网络环境准备、服务器系统设置以及JDK 环境安装。有学习需要的小伙伴一起来看看吧~
6127
2020-06-18 15:32:40
大数据开发常用的工具介绍
Java语言和 Linux操作系统,它们是学习大数据的基础。java:只需了解一些基本知识,不需要用很深的 Java技术来做大数据,学习 java SE等于学习大数据基础。与大数据有关的软件都在 Linux上运行,所以 Linux要学扎实一点,学好Linux对你快速掌握与大数据有关的技术,能让你更好地了解 hadoop, hive, hbase, spark等大数据软件的运行环境和网络环境配置。
4980
2020-07-02 13:49:48