您现在的位置是: 首页 > Logstash简介和简单使用


Logstash简介和简单使用

纯真年代 2018-11-17 17:32:38 0 457人围观


简介 直达车

    Logstash是一个具有实时流水线功能的开源数据收集引擎,能够同时从多个数据源采集数据,中间可以进行转换数据,然后将将数据标准化输出到我们的“目的地”(kafka,Elasticsearch等等)

    默认情况下,Logstash在每个阶段(输入→过滤器→输出)之间使用内存中有界队列来缓冲事件。




INPUT

采集各种样式、大小和来源的数据

数据往往以各种各样的形式,或分散或集中地存在于很多系统中。 Logstash 支持各种输入选择 ,可以在同一时间从众多常用来源捕捉事件、能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

FILTER

实时解析和转换数据

数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

OUTPUT

选择存储库,导出数据


安装

安装直达车,下载直达车

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.0.tar.gz

解压就行了  

tar -zxvf logstash-6.5.0.tar.gz -C /root/app


案例1,控制台输入数据到输出

控制台输入=>控制台输出,官网案例直达车

启动

cd logstash-6.5.0
bin/logstash -e 'input { stdin { } } output { stdout {} }'

也可以通过此命令:bin/logstash -f logstash.conf 启动,配置信息写入conf文件

测试如图



插件使用

Logstash执行模型:输入→过滤器→输出,每个阶段都支持许多模式,

输入插件直达车

转换直达车

输出直达车


案例2,采集文件信息到kafka

输入(file),输出(kafka),前提启动kafka

vim file_kafka.conf

input {
file {
path => "/root/data/logstash.txt"
}
}

output{
kafka {
codec => json
topic_id => "storm_kafka_test"
bootstrap_servers => "localhost:9092"
batch_size => 1
}
}

logstash启动

bin/logstash -f file_kafka.conf

启动一个kafka控制台消费者

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic storm_kafka_test

我们输入内容到logstash.txt,echo "hello" >> logstash.txt

结果如下:kafka控制台消费者已经收到消息了



全部评论