4 月 24 日,Databricks 在 Spark + AI 峰会上开源了一个新产品 Koalas,它增强了 PySpark 的 DataFrame API,使其与 pandas 兼容。 Pyth...
linux下通过Statcode获取各种HTTP状态代码的快速解释
如果您是网络开发人员,我今天有个好消息。您现在可以停止在Internet上花时间查找特定响应代码的含义。跟Statcode问好。它类似于手册页,但仅适用于HTTP状态代码。您可以在几分钟内轻松获得ht...
F5宣布将以6.7亿美元收购Nginx
Nginx 是被许多互联网服务器所采用的一款重要基础软件,但竞争对手 F5 Networks 决定以 6.7 亿美元的价格收购 Nginx 。据悉,Nginx 为全球一半的热门网站提供了支撑,其中就包...
Logstash6.6.1安装
Logstash我就不介绍了,日志收集工具,类似于像scribeflume 安装 下载: 目前,Logstash 分为两个包:核心包和社区贡献包。你可以从 http://www.elasticsear...
Linux性能优化之磁盘优化
前言 关于本章内容,设计的东西比较多。这里会有关于文件系统、磁盘、CPU等方面的知识,以及涉及到关于这方面的性能排查等。 术语 文件系统通过缓存和缓冲以及异步I/O等手段来缓和磁盘的延时对应用程序的影...
-B树 B+树 B-树
今天看数据库,书中提到:由于索引是采用 B 树结构存储的,所以对应的索引项并不会被删除,经过一段时间的增删改操作后,数据库中就会出现大量的存储碎片,这和磁盘碎片、内存碎片产生原理是类似的,这些存储碎片...
鲶鱼效应,墨菲定律,马太效应,木桶效应,焦点效应
1. 鲶鱼效应 以前,沙丁鱼在运输过程中成活率很低。后有人发现,若在沙丁鱼中放一条鲶鱼,情况却有所改观,成活率会大大提高。这是何故呢?原来鲶鱼在到了一个陌生的环境后,就会“性情急燥”,四处乱游,这对于...
Linux基础命令—findfs
摘要: findfs 查找指定卷标或者UUID的文件系统对应的设备文件。findfs将搜索系统中的磁盘,寻找具有标签匹配标签或与UUID相等的文件系统。如果找到文件系统,文件系统的设备...
33款可用来抓数据的开源爬虫软件工具
要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络...
关于移动BI的规划设计思考
在移动化、大数据浪潮的今天,移动BI——基于手机端随时随地进行数据查询和分析,是重视数据的公司的标配。那么移动BI该怎么做?笔者作为一家物流行业的产品经理,站在传统行业的角度上来和大家探讨一下。 在移...