Logstash MySQL配置文件 - SQL

Logstash是一种流行的开源数据收集和处理引擎，可用于集中处理和分析各种类型的数据。本文将介绍如何配置Logstash以从MySQL数据库中提取数据。

安装MySQL JDBC驱动程序

首先，需要安装MySQL JDBC驱动程序。可以访问MySQL官方网站下载驱动程序，也可以直接使用下面的命令进行安装。

bin/logstash-plugin install logstash-input-jdbc

定义输入

下一步是定义输入。可以通过以下配置定义输入：

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydatabase"
    jdbc_user => "myuser"
    jdbc_password => "mypassword"
    schedule => "* * * * *"
    statement => "SELECT * FROM mytable"
  }
}

上面的配置定义了一个名为“jdbc”的输入。驱动程序和连接字符串指定了MySQL数据库的位置和凭据，突出的是你需要查询的语句，以及定期查询该语句的计划。

定义筛选

在定义输入之后，下一步是定义筛选器。可以使用许多不同的插件来过滤记录，这里是一个简单的例子：

filter {
  grok {
    match => {
      "message" => "%{WORD:name} %{WORD:location}"
    }
  }
}

上面的配置使用grok插件在消息字段中匹配名称和位置。grok插件基于正则表达式，可以将未结构化数据转换为结构化数据。

定义输出

最后一步是定义输出。可以使用多个输出插件，包括Elasticsearch，Kafka，Redis等。下面是一个输出到控制台的简单配置：

output {
  stdout {
    codec => rubydebug
  }
}

上面的配置使用stdout插件将筛选后的事件记录输出到控制台上。codec插件指定了输出格式，这里使用了rubydebug格式。

完整的配置文件如下：

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydatabase"
    jdbc_user => "myuser"
    jdbc_password => "mypassword"
    schedule => "* * * * *"
    statement => "SELECT * FROM mytable"
  }
}

filter {
  grok {
    match => {
      "message" => "%{WORD:name} %{WORD:location}"
    }
  }
}

output {
  stdout {
    codec => rubydebug
  }
}

以上是如何配置Logstash以从MySQL数据库中提取数据的基本介绍。可以根据具体的需求来调整和改变配置，以达到最佳的效果。