云搜索服务收集syslog日志

前言

在本教程中,您将学习如何创建云搜索服务,并收集syslog日志。

关于实验

预计部署时间:40分钟

级别:初级

相关产品:云搜索服务云服务器

受众: 通用

环境说明
  1. 如果还没有火山引擎账号,点击此链接注册账号

  2. 如果您还没有VPC,请先点击链接创建VPC

  3. 云搜索服务,点击此链接创建

  4. 云服务器ECS:Centos 7

实验步骤

步骤1:创建云搜索服务

  1. 进入到云搜索服务控制台

  2. 点击创建实例,如下图

alt

  1. 从上到下填写实例名称、版本、节点规格、数据盘、节点数量、专用主节点(生产中建议启用),私有网络,配置访问Elasticsearch和登录Kibana的用户名(默认admin)和密码,传输协议如下: alt

  2. 实例信息配置完成后,点击下一步确认订单 alt

  3. 核对完配置之后,便可以提交订单 alt

6.自动跳转到实例列表界面,并确认最终的运行状态为运行中 alt alt

步骤2:连接到您的ECS服务器,并安装Logstash(7.10.2)

创建以**.repo**结尾的yum源文件,并移动到/etc/yum.repos.d/文件夹中,文件内容如下:

[root@i-3tmpsu0gq94d2esykd20 yum.repos.d]# cat logstash.repo
[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=[https://artifacts.elastic.co/packages/7.x/yum](https://artifacts.elastic.co/packages/7.x/yum)
gpgcheck=0
gpgkey=[https://artifacts.elastic.co/GPG-KEY-elasticsearch](https://artifacts.elastic.co/GPG-KEY-elasticsearch)
enabled=1
autorefresh=1
type=rpm-md

[root@i-3tmpsu0gq94d2esykd20 yum.repos.d]# yum -y install logstash-7.10.2

步骤3:配置收集 Syslog的配置文件并启动logstash

1.获取output的云搜索服务的信息 alt 2.下载证书文件并上传的ECS的/etc/logstash/目录下,并命名为es_ca.cer

[root@i-3tmpsu0gq94d2esykd20 logstash]# ll es*
-rw-r--r-- 1 root root 4550 Dec 11 11:32 es_ca.cer

3.配置文件示例,名字为logstash-syslog-ssl.conf ,替换下面的$password的变量改为自己的密码

input {
  tcp {
    port => 5000
    type => syslog
  }
  udp {
    port => 5000
    type => syslog
  }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

output {
  elasticsearch {
  hosts => ["[https://100.65.178.108:9200](https://100.65.178.108:9200)"]
  index => "syslog_index"
  user => "admin"
  password => "$password"
  cacert => "/etc/logstash/es_ca.cer"
  ssl_certificate_verification => false
 }
}

[root@i-3tmpsu0gq94d2esykd20 logstash]# /usr/share/logstash/bin/logstash -f conf.d/logstash-syslog-ssl.conf

4.启动logstash服务

[root@i-3tmpsu0gq94d2esykd20 logstash]# cat /etc/rsyslog.conf | grep 5000
*.* @@[localhost:5000](http://localhost:5000)

[root@i-3tmpsu0gq94d2esykd20 logstash]# systemctl restart rsyslog

步骤4: 配置rsyslog的配置文件,并重启rsyslog服务

在/etc/rsyslog.conf中添加如下配置

[root@i-3tmpsu0gq94d2esykd20 logstash]# cat /etc/rsyslog.conf | grep 5000
*.* @@[localhost:5000](http://localhost:5000)

[root@i-3tmpsu0gq94d2esykd20 logstash]# systemctl restart rsyslog

步骤5:登录kibana查看是否有数据收集

1.开启Kibana公网访问 alt 2.浏览器输入地址访问,输入用户名和密码 alt 3.左侧栏找到Index Management管理 alt 4.查看确认呢syslog_index已经存在 alt 5.查看收集的索引具体信息 alt 6.如果没有图形化工具,也可以用命令行在es中查询,替换下面命令的password变量

[root@i-3tmpsu0gq94d2esykd20 logstash]# curl --user admin:"$password" -k [https://100.65.178.108:9200/_cat/indices?v](https://100.65.178.108:9200/_cat/indices?v)
health status index                uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   syslog_index         hcFw0-UTRtaiYLekDfyk_g   1   1         98            0    151.6kb        125.5kb
green  open   .kibana_1            _fpPY3vVQgK9yd6D041fOw   1   1         24           12      141kb         79.2kb
green  open   .opendistro_security zzfrLSJLQs2Jv1Km2sCNGg   1   2          9            0    105.3kb         51.9kb

步骤6:释放实例

alt

97
0
0
0
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论