博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Logstash导入数据到ElasticSearch
阅读量:7254 次
发布时间:2019-06-29

本文共 1308 字,大约阅读时间需要 4 分钟。

一:在Windows环境

  1 下载解压Logstash的压缩包

  2 在Logstash的压缩包中安装Logstash-jdbc-input插件:

    在Bin命令行下运行命令: .\logstash-plugin install logstash-jdbc-input 

    及可以安装成功,(该插件主要是用来进行增量同步时记录跟踪数值的最大值或者时间的最新时间)

      2 将oracle的驱动放入Logstash的解压包中

      3 在Logstash的包中创建jdbc.conf

            3.1 Logstash的jdbc.conf基本结构:

input {

    stdin { }
         jdbc {
            jdbc_driver_library => "E:\es\logstash-6.2.4\ojdbc14-10.2.0.4.0.jar"
            jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
            jdbc_connection_string => "jdbc:oracle:thin:@//60.205.228.254:1521/orcl"
            jdbc_user => "DJP"
            jdbc_password=> "123456"
            schedule => "* * * * *"
            statement_filepath => "E:\es\logstash-6.2.4\sql\demon.sql"
            #是否记录上次Logstash的运行的时间
            last_run_metadata_path => "E:\es\logstash-6.2.4\status\last_time.txt"
            #是否强制导入的字母的大小写默认为true 强制为小写
            # lowercase_column_names => false
            #是否保存上次运行的状态,不保存在last_run_metadata_path中
            #record_last_run =>
            # 是否跟踪某个字段的值
            use_column_value => true
            tracking_column => id
            #设置跟踪字段的类型  number和Timetape类型
            #tracking_column_type =>“”
            
            }
}
output {
  elasticsearch {
    index => "addIndex02"
    hosts => ["193.112.52.129:9200"]
    }
  stdout { codec => rubydebug }
}

      4 整理sql语句在一个文件下

SELECT

    ID,
    TRAIN_SYSTEM,
    CAR_BRAND,
    CAR_NAME
FROM
    TB_CAR_MODEL
WHERE ID > :sql_last_value ORDER BY ID

在进行增量同步的时候一定要添加 ORDER BY ID 以确保保存最大的ID

      5 启动sql语句进行导入数据

    

转载于:https://www.cnblogs.com/zhaikaixuan/p/8883857.html

你可能感兴趣的文章
中断是CPU的机制
查看>>
DoD and DoR
查看>>
golang 资源
查看>>
关于FileFOutputStream应用中的FileNotFoundException问题
查看>>
[产品设计] - 设计理念
查看>>
关于gitblit成功启动,但在阿里云外网地址无法访问的问题
查看>>
C++访问MySql
查看>>
1056. 组合数的和(15)
查看>>
Git基础教程(一)
查看>>
css解决select下拉表单option高度的办法
查看>>
「洛谷P1198」 [JSOI2008]最大数 解题报告
查看>>
C# 里EF 对Mysql DB更新,乱码
查看>>
iOS - IM 即时通讯
查看>>
function的name属性
查看>>
【转载】Deep Belief Networks资料汇总
查看>>
三角螺旋阵 (代码)
查看>>
10.包和访问权限
查看>>
数字信号处理C语言(2) ------带高斯噪声的sin函数和组合sin函数
查看>>
css 梯形标签页
查看>>
理解数据点,自变量和因变量(参数和值)ChartControl
查看>>