大数据研究现状概述论文
一、引言
大数据于2003年正式开启开发和研究工作, 美国的七所顶尖院校的研究人员共同提出了“大数据VGrADS和网格虚拟化”的项目[1,2,3], 之后Amazon、Giftag、Saleforce.com以及IBM都使用大数据来提高自己在业界的竞争力。大数据与大数据技术是相辅相成的, 海量数据的来源随着手机和手机中的应用越来越多, 所以将大数据技术以及云架构技术应用到手机以及通信网络应用中将会是一个很重要的方面。Romero等人认为数据挖掘技术在电子商务研究中的应用是一个循环迭代的过程, 挖掘得到的知识应该进入系统的循环中, 支持决策、改进学习系统、改善学习者的学习, 而不是仅将数据转换成知识就结束。电子商务行为研究中应用数据挖掘的流程包含四阶段, 分别为数据收集、数据预处理、应用数据挖掘方法以及解释、评估和应用。
二、大数据及相关知识
随着新一代社交网络、数字城市等大规模互联网应用的迅猛发展。其应用和研究涉及资源虚拟化、信息安全、海量数据处理等亟待处理的重要问题。
数据挖掘的过程主要包括以下几个方面:
(1) 确定数据挖掘目的。 (2) 需要挖掘数据的准备。 (3) 数据的挖掘。 (4) 模式评估与知识表示。
三、大数据的体系架构
(一) 服务管理层
通常用户需要与大数据服务提供商协商, 使得大数据平台存在单点失效问题。因此会存在一些突发的情况对保存在数据中心的重要数据泄露或者丢失。在此, 研究在大数据的体系结构下数据的保护和安全性问题是大数据在各个领域中应用的关键, 同时这些技术对于大数据平台的安全、稳定运行也起到至关重要的作用。
(二) 用户访问接口层
统一的大数据接口 (UCI, Unified Cloud Interface) 实现了不同企业间利用云架构技术协同工作的目标。
四、大数据的关键技术
大数据的目标是为用户提供低成本、可靠性高、可用性高的个性化服务。对于大数据的关键技术的研究主要从大数据数据中心设计与管理及资源虚拟化技术、海量数据处理平台及其资源管理与调度技术以及大数据服务的质量保证和安全隐私等三个方面进行探讨。
(一) 大数据数据中心设计与管理
大数据的核心是数据中心, 数据中心的可靠性与资源规模对大数据上层的服务有重要影响。通过对于大数据特点的分析研究, 可见对于大数据数据中心的相关研究工作主要集中在两个方面, 一方面是研究绿色节能技术, 以减少环境污染、进一步提高效能比。另一方面是研究数据中心网络拓扑结构, 以高可靠、高带宽以及低成本的方式来连接大规模大数据节点。
(二) 资源虚拟化相关技术
大数据数据中心提供了大规模资源, 但是为了按需分配基础设施提供的服务, 我们需要研究虚拟化及其相关的技术。若要实现大数据数据中心按需服务和资源池化的虚拟化技术是其基础。在此, 为了进一步满足大数据数据中心的需求, 需要研究虚拟机快速部署技术以及在线迁移技术。
(三) 大数据服务的质量保证
通常需要服务管理技术, 才能保证大数据提供的核心服务安全、高效的运行。服务计费模型、QoS保证机制、资源监控技术以及安全与隐私保护技术等都是服务管理技术。其中, 安全与隐私保护技术以及QoS保证机制是保证大数据可靠安全运行的基础。大数据要提供优质的QoS保证机制来保证应用顺利高效地执行, 为了达到QoS保证的目的, 需要对资源根据SLA内容进行分配。
五、大数据的应用与挑战
大数据与实际生产应用紧密结合, 并且其研究领域广泛。通过对已有大数据体系结构以及关键技术的研究, 对大数据还可以从以下两个方面进行深入的研究:一方面, 通过拓展大数据的外沿, 比如将大数据与移动互联网领域以及科学计算相结合, 来拓展新的大数据应用模式;另一方面, 通过讨论大数据模型的缺陷来挖掘大数据的内涵, 比如以大规模程序调试诊断以及端到云的海量数据传输为例来分析云架构技术面临的挑战。
六、总结
本文主要探讨了大数据及其相关技术, 以及大数据的体系结构的详细的解释和研究, 同时参考各种大数据体系架构, 得到了一种大数据较为具有代表性的体系结构, 同时对大数据数据中心设计与管理及资源虚拟化技术、海量数据处理平台及其资源管理与调度技术以及大数据服务的质量保证和安全隐私等若干大数据关键技术进行了研究;现如今, 海量数据的来源随着手机和手机中的应用越来越多, 所以将大数据技术以及云架构技术应用到手机以及通信网络应用中将会是一个很重要的方面。
摘要：针对大数据及其相关知识的介绍, 以及大数据的体系结构的详细的解释和研究, 同时参考各种大数据体系架构, 得到了一种大数据较为具有代表性的体系结构, 同时对大数据数据中心设计与管理及资源虚拟化技术、海量数据处理平台及其资源管理与调度技术以及大数据服务的质量保证和安全隐私等若干大数据关键技术进行了研究;现如今, 海量数据的来源随着手机和手机中的应用越来越多, 所以将大数据技术以及云架构技术应用到手机以及通信网络应用中将会是一个很重要的方面。
关键词：大数据,数据挖掘,资源管理,体系结构
参考文献
[1] Valentine K D, Kopcha T J. The embodiment of cases as alternative perspective in a mathematics hypermedia learning environment[J]. Educational Technology Research&Development, 2016, 64 (6) :1-24.
[2] Araya R, Bahamondez M, Calfucura P, et al. Teaching modeling skills using a massively multiplayer online mathematics game[J]. World Wide Web-internet&Web Information Systems, 2014, 17 (2) :213-227.
[3] 赵艳玲, 李战宝.大数据及其安全在美国的发展研究[J].信息网络安全, 2011 (10) :83-87.
[4] 佚名.亚马逊像卖书一样卖大数据[J].计算机与网络, 2009, 35 (9) :4-5.