系统知识 Koalas:让 pandas 轻松切换 Apache Spark 4 月 24 日,Databricks 在 Spark + AI 峰会上开源了一个新产品 Koalas,它增强了 PySpark 的 DataFrame API,使其与 pandas 兼容。 Pyth... 05月06日 131 viewsKoalas:让 pandas 轻松切换 Apache Spark已关闭评论 收藏 阅读全文
系统知识 linux下通过Statcode获取各种HTTP状态代码的快速解释 如果您是网络开发人员,我今天有个好消息。您现在可以停止在Internet上花时间查找特定响应代码的含义。跟Statcode问好。它类似于手册页,但仅适用于HTTP状态代码。您可以在几分钟内轻松获得ht... 03月22日 59 viewslinux下通过Statcode获取各种HTTP状态代码的快速解释已关闭评论 收藏 阅读全文
系统知识 F5宣布将以6.7亿美元收购Nginx Nginx 是被许多互联网服务器所采用的一款重要基础软件,但竞争对手 F5 Networks 决定以 6.7 亿美元的价格收购 Nginx 。据悉,Nginx 为全球一半的热门网站提供了支撑,其中就包... 03月12日 162 viewsF5宣布将以6.7亿美元收购Nginx已关闭评论 收藏 阅读全文
系统知识 Logstash6.6.1安装 Logstash我就不介绍了,日志收集工具,类似于像scribeflume 安装 下载: 目前,Logstash 分为两个包:核心包和社区贡献包。你可以从 http://www.elasticsear... 03月04日 121 viewsLogstash6.6.1安装已关闭评论 收藏 阅读全文
系统知识 Linux性能优化之磁盘优化 前言 关于本章内容,设计的东西比较多。这里会有关于文件系统、磁盘、CPU等方面的知识,以及涉及到关于这方面的性能排查等。 术语 文件系统通过缓存和缓冲以及异步I/O等手段来缓和磁盘的延时对应用程序的影... 03月01日 149 viewsLinux性能优化之磁盘优化已关闭评论 收藏 阅读全文
系统知识 -B树 B+树 B-树 今天看数据库,书中提到:由于索引是采用 B 树结构存储的,所以对应的索引项并不会被删除,经过一段时间的增删改操作后,数据库中就会出现大量的存储碎片,这和磁盘碎片、内存碎片产生原理是类似的,这些存储碎片... 11月21日 33 views-B树 B+树 B-树已关闭评论 收藏 阅读全文
系统知识 鲶鱼效应,墨菲定律,马太效应,木桶效应,焦点效应 1. 鲶鱼效应 以前,沙丁鱼在运输过程中成活率很低。后有人发现,若在沙丁鱼中放一条鲶鱼,情况却有所改观,成活率会大大提高。这是何故呢?原来鲶鱼在到了一个陌生的环境后,就会“性情急燥”,四处乱游,这对于... 11月21日 230 views鲶鱼效应,墨菲定律,马太效应,木桶效应,焦点效应已关闭评论 收藏 阅读全文
系统知识 Linux基础命令—findfs 摘要: findfs 查找指定卷标或者UUID的文件系统对应的设备文件。findfs将搜索系统中的磁盘,寻找具有标签匹配标签或与UUID相等的文件系统。如果找到文件系统,文件系统的设备... 11月06日 36 viewsLinux基础命令—findfs已关闭评论 收藏 阅读全文
系统知识 33款可用来抓数据的开源爬虫软件工具 要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络... 10月31日 261 views33款可用来抓数据的开源爬虫软件工具已关闭评论 收藏 阅读全文
系统知识 关于移动BI的规划设计思考 在移动化、大数据浪潮的今天,移动BI——基于手机端随时随地进行数据查询和分析,是重视数据的公司的标配。那么移动BI该怎么做?笔者作为一家物流行业的产品经理,站在传统行业的角度上来和大家探讨一下。 在移... 10月31日 27 views关于移动BI的规划设计思考已关闭评论 收藏 阅读全文