Flume+Kafka+Storm+Redis构建大数据实时处理系统 redis

Flume+Kafka+Storm+Redis构建大数据实时处理系统

一、大数据处理的常用方法 之前在《采集→清洗→处理:基于MapReduce的离线数据分析》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是基于MapReduce的离线数据分析案例,其通过...
NEW
阅读全文
如何使用MongoDB存储Docker日志! docker

如何使用MongoDB存储Docker日志!

日志是系统很重要的一个组成部分,通过日志可以及时发现系统中存在的问题,也可以为修复问题提供线索。Docker提供了多种插件方式管理日志,本文就对使用MongoDB存储Docker日志的过程做个记录。 ...
NEW
阅读全文
大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例 编程开发

大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例

1 大数据处理的常用方法 大数据处理目前比较流行的是两种方法,一种是离线处理,一种是在线处理,基本处理架构如下: 在互联网应用中,不管是哪一种处理方式,其基本的数据来源都是日志数据,例如对于web应用...
NEW
阅读全文
用xl2tpd建立L2TP协议的VPN连接 运维实战

用xl2tpd建立L2TP协议的VPN连接

在Linux中用xl2tpd建立L2TP协议的VPN连接需要两个配置文件,一个是给xl2tpd的配置文件,一个是给pppd的配置文件(xl2tpd会调用pppd)。 为说明方便,我们假设我们要建立的V...
阅读全文
该如何防止SQL注入攻击 编程开发

该如何防止SQL注入攻击

移动互联网的发展势头已经远远超过PC互联网,手机移动端上网,以及持有量远超PC电脑, 随着移动大数据、区块链的技术在不断的完善,成熟,日常生活中经常会听到某某网站被攻击, 网站被黑的新闻报道,再比如一...
阅读全文
HTTP缓存机制 系统知识

HTTP缓存机制

HTTP 缓存机制作为 web 性能优化的重要手段,是Web 开发知识体系库中的一个基础环节,但是对于很多学习者来说,仅仅只是知道浏览器会对请求的静态文件进行缓存,但是为什么被缓存,缓存是怎样生效的,...
阅读全文
CentOS7上安装Node.js 运维实战

CentOS7上安装Node.js

项目需要装Node.js,所有就顺便记录一下 我们这里通过NodeSource安装,我这里安装的是8,直接开始吧.   下载并执行脚本 # curl -sL https://rpm.node...
阅读全文
查看自己账户密码是否泄密 运维实战

查看自己账户密码是否泄密

一:通过https://haveibeenpwned.com/网站查询 查看自己的账户密码是否被泄露了,如下图: 如果没有被泄露,就显示 Good news 下图显示此账号被泄露了,但是网站并没有给出...
阅读全文