hadoop中map/reduce数据求平均值实战 hadoop

hadoop中map/reduce数据求平均值实战

说明 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一...
阅读全文
hadoop中map/reduce数据排序实战 hadoop

hadoop中map/reduce数据排序实战

  需求描述 对输入文件中数据进行排序。输入文件中的每行内容均为一个数字,即一个数据。 要求在输出中每行有两个间隔的数字,其中,第一个代表原始数据在原始数据集中的位次,第二个代表原始数据。 ...
阅读全文
hadoop中map/reduce数据去重实战 hadoop

hadoop中map/reduce数据去重实战

说明 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器, 无论这个数据出现多少次,只要在最终结果中输出一...
阅读全文
NoSQL的四大种类 存储应用

NoSQL的四大种类

NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代,虽然RDBMS很优秀,但是面对快速增长的数据规模和日渐复杂的数据模型,RDBMS渐渐力不从心,无法应对很多数据库处理任务,这时No...
阅读全文
Linux中使用tcpdump命令 存储应用

Linux中使用tcpdump命令

一般情况下Linux系统会自带tcpdump工具,如果系统没有安装,直接用命令安装就行了。 安装命令:yum install -y tcpdump 查看安装版本命令:tcpdump --help 查看...
阅读全文
将MongoDB数据加载到Elasticsearch elasticsearch

将MongoDB数据加载到Elasticsearch

一、前言 由于业务需要,需要将放在MongoDB的数据加载到Elasticsearch,Elasticsearch天生具有全文检索优势。MongoDB虽然新的版本也支持fulltext,但目前尚未支持...
阅读全文
HBASE的主备数据备份 hbase

HBASE的主备数据备份

【摘要】 本文简单介绍下集群间的HBASE数据备份(导入导出),即主集群往备集群上备份(同步)数据的主要方式 当前HBASE上可以使用的数据备份主要有以下几种u Snapshotsu Replicat...
阅读全文