安装nodejs和npm 下载地址： https://nodejs.org/zh-cn/ 下载下来直接默认安装就行，安装成功后，看看是否安装成功，如下： 更新npm: 问题1： C:\Users\Ad...
编程开发
编程开发
系统知识
33款可用来抓数据的开源爬虫软件工具
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络...
运维实战
Nutch-Hadoop-MongoDB搭建分布式爬虫
一、实现目标 使用Nutch、Hadoop、MongoDB实现一个简单的分布式爬虫，在Hadoop上运行Nutch爬虫抓取网页，存储到MongoDB中。 二、实验环境 CentOS7 Linux x8...
运维实战
怎样把爬虫流量转化有效流量
网站从昨天开始，过一会就挂了，查看nginx日志一下，我去，到处都是爬虫来抓数据，nginx日志如下： {"@timestamp":"2018-07-06T11:09:43+08:00","host"...
