Json 数据 序列化和反序列化

Json 数据 序列化和反序列化

一: 序列化意义: Java序列化是指把Java对象转换为字节序列的过程;而Java反序列化是指把字节序列恢复为Java对象的过程。为了实现两个Java进程之间传输对象等数据。 二: 两种数据传输方式...
阅读全文
hadoop中map/reduce数据求平均值实战

hadoop中map/reduce数据求平均值实战

说明 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一...
阅读全文
MQ 代理中危险的序列化数据

MQ 代理中危险的序列化数据

分布式应用中消息队列使用特别广泛,而针对分布式集群的攻击常常是点到面的扩散,突破关键点从而控制整个集群。在使用消息队列传递消息时,不安全的数据序列化方式便为整体系统埋下了一颗定时炸弹,一旦消息代理中间...
阅读全文
HBASE的主备数据备份

HBASE的主备数据备份

【摘要】 本文简单介绍下集群间的HBASE数据备份(导入导出),即主集群往备集群上备份(同步)数据的主要方式 当前HBASE上可以使用的数据备份主要有以下几种u Snapshotsu Replicat...
阅读全文
分布式之缓存击穿

分布式之缓存击穿

什么是缓存击穿 在谈论缓存击穿之前,我们先来回忆下从缓存中加载数据的逻辑,如下图所示 因此,如果黑客每次故意查询一个在缓存内必然不存在的数据,导致每次请求都要去存储层去查询,这样缓存就失去了意义。如果...
阅读全文
Elasticsearch集群数据迁移

Elasticsearch集群数据迁移

环境 阿里云elasticsearch集群5.0版本 微软云elasticsearch集群5.6版本 需求 需要把阿里云elasticsearch集群新老数据迁移到微软云elasticsearch集群...
阅读全文
大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例

大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例

1 大数据处理的常用方法 大数据处理目前比较流行的是两种方法,一种是离线处理,一种是在线处理,基本处理架构如下: 在互联网应用中,不管是哪一种处理方式,其基本的数据来源都是日志数据,例如对于web应用...
阅读全文
两个工具帮你实现酷炫的数据可视化

两个工具帮你实现酷炫的数据可视化

你想到的数据可视化 通常可能是这样的 但我们能实现的数据可视化 还可以是这样的 这样的 以及这样的 如此高端大气酷炫的数据可视化 是如何实现的? 秘诀在于两个工具 inMap & iView ...
阅读全文