在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
2021年大数据发展趋势及动态,大数据已经走单纯的技术架构和技术体系,走向了社会基础设施。2020年“新基建”就将“大数据中心”定义为数字新基础设施的重要建设内容。基于隐私计算的数据流通技术成为实现数据联合计算的主要思路。隐私计算在保护数据本身不对外泄露的前提下实现了数据融合,为安全合规的数据流通带来了可能。
2021年大数据发展趋势:
1、数据融合与数据价值挖掘
数据融合对于数据价值挖掘来说具有重要的意义。数据融合利用需要标准规范先行,实现数据可见性、数据易理解性、数据可链接性、数据可信性、数据互操作性、数据安全性。同时,数据的融合利用面临着建立数学模型的挑战,大数据挖掘面临算力与算法、数据样本准确性、小数据、人与数据融合的挑战。
在智慧城市管理与工业互联网中有很多需要数据融合应用的场景,多元异构的数据融合将盘活数据,通过数据挖掘开发数据价值,发挥数据作为生产要素的作用。数据挖掘和AI分析需要面对海量处理能力、云边端协同、建模、小数据、人与数据融合、数据自身安全、隐私与商密保护等的挑战,需要从基础理论与工程实践多方面研究数据要素价值挖掘的问题,开发出更多的大数据和AI分析技术。
在跨企业数据融合时要保证数据能共享但敏感数据不外泄,需要建立新的数据隔空分析机制,以虚拟的黑箱使得数据既不脱离所在单位的管理又能被授权的其他单位调用,现有基于黑盒子的可信计算环境方式,但仍需证明第三方的可靠性。
2、数据敏捷型经济体
世界各国都在加强发展大数据,推出国家级数据战略,探索数据发展之路。其中,欧盟的数据战略极具代表性。由于欧盟是由20余个国家所组成的经济联合体,欧盟所制订的各类政策对于其它单一国家或经济体来说,更前瞻性考虑到不同市场、国家和区域之间的协同、平衡和包容性,也更具有代表意义。
根据中国信通院《大数据白皮书(2020)》,欧盟为了应对未来发展而致力于平衡数据流动与广泛使用,希望通过建立单一的数据市场,确保欧洲在未来的数据经济中占据领先地位。2020年2月,欧盟委员会公布了《欧盟数据战略》,对欧盟数据发展提出了明确的愿景目标——2030年欧洲将成为世界上最具吸引力、最安全、最具活力的数据敏捷型经济体。即在保持高度的隐私、安全和道德标准的前提下,充分发掘数据利用的价值造福经济社会,并确保每个人能从数据红利中受益。
3、知识图谱与决策智能
随着大数据的发展,企业和公共机构越来越需要将不同的数据进行有效链接,从而形成新的动态知识,以辅助企业和公共机构的决策。这就需要运用图数据库、图计算引擎和知识图谱,其中知识图谱是图数据库和图计算引擎的重要应用场景。根据DB-Engines排名分析,图数据库关注热度在2013年到2020年间增长了10倍。用户画像和信用档案等是知识图谱的新应用场景。
3、产业物联网提速
物联网是大数据的一个重要来源。传统观念认为消费物联网是物联网大数据的主要来源,但随着产业物联网的飞速发展,产业物联网正在超越消费物联网而成为物联网大数据的主要来源。根据中国信通院《物联网白皮书(2020)》,随着物联网加速向各行业渗透,行业的信息化和联网水平不断提升,产业物联网连接数占比将提速。
根据预测,产业物联网设备的联网数将在2024年超过消费物联网的设备数。在中国,2019年中国物联网连接数中,产业物联网与消费者市场各占一半,预计到2025年中国物联网连接数的大部分增长来自产业市场,产业物联网的连接数将占到总体的61.2%。智慧工业、智慧交通、智慧健康、智慧能源等领域,将最有可能成为产业物联网连接数增长最快的领域。
产业物联网的大数据处理涉及到边缘计算。
市场调研机构IDC预测,未来超过50%的数据需要在边缘侧进行存储、分析、计算,到2024年全球边缘计算市场将达到2506亿美元。在中国市场,2020新基建中的5G、AI、智慧交通、新能源汽车充电桩、工业互联网等都是与边缘计算相关的技术或场景。
4、数据安全热度持续上升
数据共享与流通是释放数据价值的重要方向。中国工程院院士沈昌祥表示,数据“科学”发展经历了数值计算、数据工程、数字社会的过程。网络空间已经成为继陆、海、空、天之后的第五大主权领域空间,没有网络安全就没有国家安全。
大数据、数字经济要通过相应的法律制度以及相关措施来保障健康发展。一是改变计算方式,边计算边保护;二是构建免疫系统,改变安全体系结构;三是网络系统安全要构建“安全办公室”“警卫室”“安全快递”这“三重”防护框架;四是对人的操作访问策略四要素(主体、客体、操作、环境)进行动态可信度量、识别和控制;五是对“风险分析、准确定级”“评审备案、规范建设”“感知预警、应急反制”“严格测评、整顿完善”等环节进行全程管控,技管并重;六是达到非授权者重要信息拿不到、系统和信息改不了、攻击行为赖不掉、攻击者进不去、窃取保密信息看不懂、系统工作瘫不成等“六不”防护效果。
根据中国信通院的《大数据白皮书(2020)》企业运营中的数据只有56%能够被及时捕获,而这其中仅有57%的数据得到了利用43%的采集数据并没有被激活,也就是说仅有32%的企业数据价值能够被激活。虽然未来两年,企业数据将以42.2%的速度保持高速增长,但如何激活数据价值、真正从大数据中“淘金”,成为2021年大数据的重中之重!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据Lambda架构概念及应用
Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念,用于在大数据架构中,如何让real-time与batch job更好地结合起来,以达成对大数据的实时处理。
9151
2020-09-04 17:57:48
大数据可视化相关工具介绍
大数据的实际应用中,有一个重要的环节,就是实现数据的可视化。这是数据分析结论导向的重要体现。你可以通过可视化的数据形式明晰的了解各种数据的分布以及占比,例如大数据招聘市场的分布、目前行业岗位薪资与学历的关系、大数据热门技术的应用比例等等。本文就和大家介绍一些大数据可视化的使用工具
7944
2019-08-09 18:04:01
如何安装Kafka?新手安装教程指导
Kafka是由Java编写的一个开源流处理平台,因为它强大的动作流数据处理功能而备受大数据开发者的欢迎。因而作为大数据的开发者,掌握Kafka也就掌握了大数据最重要的一项核心技术。本文是一篇新手入门Kafka的安装教程,下面小编将手把手结合图片详细的指导大家安装Kafka。
4120
2020-02-17 14:41:36
ZooKeeper数据模型解析
ZooKeeper的数据模型采用树形层次结构,而Znode就是ZooKeeper树中的每个节点。和文件系统的目录树一样,ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处: 比如Znode兼具文件和目录两种特点,而且它还具有原子性操作,存储数据大小也有限制。另外,Znode还是通过路径引用。下面我们来看看数据结构图、节点类型、节点属性以及ZooKeeper Watcher相关内容。
5018
2020-06-15 10:32:03
常见的实用型数据可视化工具有哪些?
数据可视化工具介绍,由于每个人的的技术水平和偏好不同这里分类介绍。零编程类:操作简单,无需编程基础,适合新手小白做一些基础性的图表可视化;开发工具类专业化的可视化工具,个性化程度高,适合专业的开发者或者工程师;专业图表类:针对性制作地图、时间轴、金融数据可视化工具。接下来我们就一起来看看吧
3684
2021-01-28 10:38:20