Flume+Kafka+Storm+Redis构建大数据实时处理系统 redis

Flume+Kafka+Storm+Redis构建大数据实时处理系统

一、大数据处理的常用方法 之前在《采集→清洗→处理:基于MapReduce的离线数据分析》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是基于MapReduce的离线数据分析案例,其通过...
NEW
阅读全文
大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例 编程开发

大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例

1 大数据处理的常用方法 大数据处理目前比较流行的是两种方法,一种是离线处理,一种是在线处理,基本处理架构如下: 在互联网应用中,不管是哪一种处理方式,其基本的数据来源都是日志数据,例如对于web应用...
NEW
阅读全文
用xl2tpd建立L2TP协议的VPN连接 运维实战

用xl2tpd建立L2TP协议的VPN连接

在Linux中用xl2tpd建立L2TP协议的VPN连接需要两个配置文件,一个是给xl2tpd的配置文件,一个是给pppd的配置文件(xl2tpd会调用pppd)。 为说明方便,我们假设我们要建立的V...
阅读全文
该如何防止SQL注入攻击 编程开发

该如何防止SQL注入攻击

移动互联网的发展势头已经远远超过PC互联网,手机移动端上网,以及持有量远超PC电脑, 随着移动大数据、区块链的技术在不断的完善,成熟,日常生活中经常会听到某某网站被攻击, 网站被黑的新闻报道,再比如一...
阅读全文
CentOS7上安装Node.js 运维实战

CentOS7上安装Node.js

项目需要装Node.js,所有就顺便记录一下 我们这里通过NodeSource安装,我这里安装的是8,直接开始吧.   下载并执行脚本 # curl -sL https://rpm.node...
阅读全文
查看自己账户密码是否泄密 运维实战

查看自己账户密码是否泄密

一:通过https://haveibeenpwned.com/网站查询 查看自己的账户密码是否被泄露了,如下图: 如果没有被泄露,就显示 Good news 下图显示此账号被泄露了,但是网站并没有给出...
阅读全文
内网穿透神器:Ngrok在支付中的正确使用姿势 编程开发

内网穿透神器:Ngrok在支付中的正确使用姿势

前言 随着互联网的发展,无论是web服务还是移动APP越来越多的都集成了第三方支付(支付宝、微信、银联)。通常作为服务提供方,支付成功以后都会有一个后端回调URL来通知是否调用者是否支付成功,这个UR...
阅读全文