一、大数据处理的常用方法 之前在《采集→清洗→处理：基于MapReduce的离线数据分析》中已经有提及到，这里依然给出下面的图示： 前面给出的那篇文章是基于MapReduce的离线数据分析案例，其通过...
redis
redis
docker
如何使用MongoDB存储Docker日志！
日志是系统很重要的一个组成部分，通过日志可以及时发现系统中存在的问题，也可以为修复问题提供线索。Docker提供了多种插件方式管理日志，本文就对使用MongoDB存储Docker日志的过程做个记录。 ...
编程开发
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例
1 大数据处理的常用方法 大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： 在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用...
运维实战
怎样把爬虫流量转化有效流量
网站从昨天开始，过一会就挂了，查看nginx日志一下，我去，到处都是爬虫来抓数据，nginx日志如下： {"@timestamp":"2018-07-06T11:09:43+08:00","host"...
运维实战
xl2tpd配置及路由添加方法
1、L2TP参数配置 xl2tpd.conf（L2TP配置文件） lns = 221.239.126.9 ；l2tp服务器地址 redial = yes ；重播 red...
运维实战
用xl2tpd建立L2TP协议的VPN连接
在Linux中用xl2tpd建立L2TP协议的VPN连接需要两个配置文件，一个是给xl2tpd的配置文件，一个是给pppd的配置文件（xl2tpd会调用pppd）。 为说明方便，我们假设我们要建立的V...
编程开发
该如何防止SQL注入攻击
移动互联网的发展势头已经远远超过PC互联网，手机移动端上网，以及持有量远超PC电脑， 随着移动大数据、区块链的技术在不断的完善，成熟，日常生活中经常会听到某某网站被攻击， 网站被黑的新闻报道，再比如一...
系统知识
HTTP缓存机制
HTTP 缓存机制作为 web 性能优化的重要手段，是Web 开发知识体系库中的一个基础环节，但是对于很多学习者来说，仅仅只是知道浏览器会对请求的静态文件进行缓存，但是为什么被缓存，缓存是怎样生效的，...
运维实战
CentOS7上安装Node.js
项目需要装Node.js,所有就顺便记录一下 我们这里通过NodeSource安装，我这里安装的是8，直接开始吧. 下载并执行脚本 # curl -sL https://rpm.node...
运维实战
查看自己账户密码是否泄密
一：通过https://haveibeenpwned.com/网站查询 查看自己的账户密码是否被泄露了，如下图： 如果没有被泄露，就显示 Good news 下图显示此账号被泄露了，但是网站并没有给出...
