| 浅谈基于Hadoop平台的大规模数据排序 |
| 门威; 吕书林
|
| 2016-06-28
|
| 发表期刊 | 智能计算机与应用
 |
| ISSN | 2095-2163
|
| 卷号 | 6期号:03页码:130-131+134 |
| 摘要 | 据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB。如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一。商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度。海量数据排序是海量数据处理的基本内容之一。Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军。本文在设计层面上对Hadoop平台上海量数据排序策略进行分析。 |
| 关键词 | Hadoop平台
海量数据排序
基准排序
云计算
|
| URL | 查看原文
|
| 语种 | 中文
|
| 原始文献类型 | 学术期刊
|
| 文献类型 | 期刊论文
|
| 条目标识符 | http://ir.library.ouchn.edu.cn/handle/39V7QQFX/62230
|
| 专题 | 国家开放大学河南分部
|
| 作者单位 | 河南广播电视大学信息技术中心
|
| 第一作者单位 | 国家开放大学河南分部
|
| 第一作者的第一单位 | 国家开放大学河南分部
|
推荐引用方式
GB/T 7714 |
门威,吕书林. 浅谈基于Hadoop平台的大规模数据排序[J].
智能计算机与应用,2016,6(03):130-131+134.
|
| APA |
门威,&吕书林.(2016).浅谈基于Hadoop平台的大规模数据排序.智能计算机与应用,6(03),130-131+134.
|
| MLA |
门威,et al."浅谈基于Hadoop平台的大规模数据排序".智能计算机与应用 6.03(2016):130-131+134.
|
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论