📅 最后修改于: 2020-11-01 04:24:13 🧑 作者: Mango
Logstash提供了多个插件来支持各种数据存储或搜索引擎。日志的输出事件可以发送到输出文件，标准输出或像Elasticsearch这样的搜索引擎。 Logstash中支持三种类型的输出，分别是-
现在让我们详细讨论每个。
它用于生成过滤后的日志事件，作为到命令行界面的数据流。这是生成数据库事务到stdout的总持续时间的示例。
此配置文件包含一个stdout输出插件，用于将总sql_duration写入标准输出。
input {
file {
path => "C:/tpwork/logstash/bin/log/input.log"
}
}
filter {
grok {
match => [
"message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid}
- %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?"
]
}
if [logger] == "TRANSACTION_START" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] = 0"
map_action => "create"
}
}
if [logger] == "SQL" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] ||= 0 ;
map['sql_duration'] += event.get('duration')"
}
}
if [logger] == "TRANSACTION_END" {
aggregate {
task_id => "%{taskid}"
code => "event.set('sql_duration', map['sql_duration'])"
end_of_task => true
timeout => 120
}
}
}
output {
if [logger] == "TRANSACTION_END" {
stdout {
codec => line{format => "%{sql_duration}"}
}
}
}
注意-如果尚未安装聚合过滤器，请安装。
>logstash-plugin install Logstash-filter-aggregate
我们可以使用以下命令运行Logstash。
>logstash –f logsatsh.conf
以下代码块显示了输入日志数据。
INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END – end
stdout (在Windows中为命令提示符，在UNIX中为终端)
这是总的sql_duration 320 + 200 = 520。
520
Logstash还可以将过滤器日志事件存储到输出文件中。我们将使用上述示例，并将输出存储在文件中，而不是STDOUT中。
此Logstash配置文件指示Logstash将总sql_duration存储到输出日志文件中。
input {
file {
path => "C:/tpwork/logstash/bin/log/input1.log"
}
}
filter {
grok {
match => [
"message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} -
%{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?"
]
}
if [logger] == "TRANSACTION_START" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] = 0"
map_action => "create"
}
}
if [logger] == "SQL" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] ||= 0 ;
map['sql_duration'] += event.get('duration')"
}
}
if [logger] == "TRANSACTION_END" {
aggregate {
task_id => "%{taskid}"
code => "event.set('sql_duration', map['sql_duration'])"
end_of_task => true
timeout => 120
}
}
}
output {
if [logger] == "TRANSACTION_END" {
file {
path => "C:/tpwork/logstash/bin/log/output.log"
codec => line{format => "%{sql_duration}"}
}
}
}
我们可以使用以下命令运行Logstash。
>logstash –f logsatsh.conf
以下代码块显示了输入日志数据。
INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END – end
以下代码块显示了输出日志数据。
520
这是一个特殊的输出插件，用于分析输入和过滤器插件的性能。