需求分析 #orderid,userid,payment,productid a.txt 1,9819,100,121 2,8918,2000,111 3,2813,1234,22 4,9100,10...
hadoop中map/reduce数据求最大最小值实战
数据准备 a.txt 102 10 39 109 200 11 3 90 28 b.txt 5 2 30 838 10005 结果预测 Max 10005 Min 2 map代码 pac...
hadoop中map/reduce数据求平均值实战
说明 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一...
hadoop中map/reduce数据排序实战
需求描述 对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。 要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据。 ...
hadoop中map/reduce数据去重实战
说明 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器， 无论这个数据出现多少次，只要在最终结果中输出一...
NoSQL的四大种类
NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时No...
利用Logstash实时同步mysql数据至elasticsearch
1.安装elasticsearch，具体安装办法 点此链接 2.正确安装mysql。并建立新表 abc (我的mysql测试地址为 192.168.1.108 ) 往测试的新建表 member,表结构...
Linux中使用tcpdump命令
一般情况下Linux系统会自带tcpdump工具，如果系统没有安装，直接用命令安装就行了。 安装命令：yum install -y tcpdump 查看安装版本命令：tcpdump --help 查看...
将MongoDB数据加载到Elasticsearch
一、前言 由于业务需要，需要将放在MongoDB的数据加载到Elasticsearch，Elasticsearch天生具有全文检索优势。MongoDB虽然新的版本也支持fulltext，但目前尚未支持...
HBASE的主备数据备份
【摘要】 本文简单介绍下集群间的HBASE数据备份（导入导出），即主集群往备集群上备份（同步）数据的主要方式 当前HBASE上可以使用的数据备份主要有以下几种u Snapshotsu Replicat...
