4 月 24 日，Databricks 在 Spark + AI 峰会上开源了一个新产品 Koalas，它增强了 PySpark 的 DataFrame API，使其与 pandas 兼容。 Pyth...
系统知识
系统知识
系统知识
linux下通过Statcode获取各种HTTP状态代码的快速解释
如果您是网络开发人员，我今天有个好消息。您现在可以停止在Internet上花时间查找特定响应代码的含义。跟Statcode问好。它类似于手册页，但仅适用于HTTP状态代码。您可以在几分钟内轻松获得ht...
系统知识
F5宣布将以6.7亿美元收购Nginx
Nginx 是被许多互联网服务器所采用的一款重要基础软件，但竞争对手 F5 Networks 决定以 6.7 亿美元的价格收购 Nginx 。据悉，Nginx 为全球一半的热门网站提供了支撑，其中就包...
系统知识
Logstash6.6.1安装
Logstash我就不介绍了，日志收集工具，类似于像scribeflume 安装 下载： 目前，Logstash 分为两个包：核心包和社区贡献包。你可以从 http://www.elasticsear...
系统知识
Linux性能优化之磁盘优化
前言 关于本章内容，设计的东西比较多。这里会有关于文件系统、磁盘、CPU等方面的知识，以及涉及到关于这方面的性能排查等。 术语 文件系统通过缓存和缓冲以及异步I/O等手段来缓和磁盘的延时对应用程序的影...
系统知识
-B树 B+树 B-树
今天看数据库，书中提到：由于索引是采用 B 树结构存储的，所以对应的索引项并不会被删除，经过一段时间的增删改操作后，数据库中就会出现大量的存储碎片，这和磁盘碎片、内存碎片产生原理是类似的，这些存储碎片...
系统知识
鲶鱼效应，墨菲定律，马太效应，木桶效应，焦点效应
1. 鲶鱼效应 以前，沙丁鱼在运输过程中成活率很低。后有人发现，若在沙丁鱼中放一条鲶鱼，情况却有所改观，成活率会大大提高。这是何故呢？原来鲶鱼在到了一个陌生的环境后，就会“性情急燥”，四处乱游，这对于...
系统知识
Linux基础命令—findfs
摘要： findfs 查找指定卷标或者UUID的文件系统对应的设备文件。findfs将搜索系统中的磁盘，寻找具有标签匹配标签或与UUID相等的文件系统。如果找到文件系统，文件系统的设备...
系统知识
33款可用来抓数据的开源爬虫软件工具
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络...
系统知识
关于移动BI的规划设计思考
在移动化、大数据浪潮的今天，移动BI——基于手机端随时随地进行数据查询和分析，是重视数据的公司的标配。那么移动BI该怎么做？笔者作为一家物流行业的产品经理，站在传统行业的角度上来和大家探讨一下。 在移...
