Logstash Reference [7.0] » Logstash简介
    Logstash入门 »

Logstash简介

Logstash是一个具有实时管道功能的开源数据收集引擎，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据规范化为你选择的目的地，清理和大众化你的所有数据，用于各种高级下游分析和可视化用例

虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过广泛的输入，过滤和输出插件进行丰富和转换，许多本机编解码器进一步简化了摄取过程。Logstash利用更大量的数据来提高您的洞察力。

Logstash的力量

用于Elasticsearch和更多的镊取工作

水平可扩展的数据处理管道，具有强大的Elasticsearch和Kibana协同作用

可插拔管道架构

混合，匹配和编排不同的输入，过滤器和输出，以便在管道协调中发挥作用

社区可扩展和开发人员友好的插件生态系统

超过200个插件，加上创建和贡献你自己的灵活性

static/images/logstash.png

Logstash喜欢数据

收集更多，这样你就能知道更多，Logstash欢迎各种形式和大小的数据。

日志和指标

这里是一切的开始.

  • 处理所有类型的日志记录数据

    • 轻松地摄取大量的Web日志（如 Apache）和应用程序日志如（ log4j) for Java
    • 捕获许多其他日志格式，如 syslog, 网络和防火墙日志等
  • 使用Filebeat享受互补的安全日志转发功能
  • 通过TCP and UDP从Ganglia, collectd,NetFlow, JMX, 以及许多其他基础架构和应用程序平台收集指标

网络

解锁万维网

  • 将 HTTP请求转化为事件

    • 从Twitter 等网络服务消费中获取社交情绪分析
    • Webhook支持GitHub，HipChat，JIRA和无数其他应用程序
    • 启用许多Watcher 警报用例

  • 通过按需轮询HTTP endpoints来创建事件

    • 通用从Web应用程序界面捕获运行状况，性能，指标和其他类型的数据
    • 适用于轮流控制优先于接收的场景

数据存储和数据流

从您已拥有的数据中发现更多价值。

  • 通过JDBC 接口更好地了解来自任何关系数据库或NoSQL存储的 数据
  • 统一来自Apache Kafka,RabbitMQ, and Amazon SQS等消息队列的各种数据流

传感器和物联网

探索其他广泛的数据。

  • 在这个技术进步的时代，大规模物联网世界通过捕获和利用来自连接传感器的数据释放出无穷无尽的用例。
  • Logstash是用于提取从移动设备发送到智能家居，联网车辆，医疗保健传感器以及许多其他行业特定应用的数据的常见事件收集主干。

轻松充实一切

数据越好，知识就越好，在摄取数据时进行清理和转换，以便在索引或输出时立即获得接近实时的信息，Logstash具有许多聚合和变体，以及模式匹配、geo映射和动态查找功能。

  • Grok 是Logstash过滤器的基础，并且无处不在地用于从非结构化数据中获取结构。享受丰富的集成模式，旨在帮助快速解决Web，系统，网络和其他类型的事件格式。
  • 通过从IP地址解析 地理坐标 ，规范日期 复杂性，简化 键值对 和CSV 数据, 指纹识别(匿名化) 敏感信息，以及使用 本地查找 或者 Elasticsearch查询进一步丰富数据，扩展您的视野.
  • 编解码器通常用于简化JSON和 多行 事件等常见事件结构的处理。

有关一些常用数据处理插件的概述，请参阅转换数据.

选择你的存储

将数据路由到最重要的位置。通过对数据进行存储，分析和采取措施，解锁各种下游分析和操作用例.

分析

存档

监控

报警

    Logstash入门  »