Centos 6.4 搭建ELK（1）

系统运维
前段时间用ossec收集了一些系统的日志(syslog、secure、maillog等)，看了下elk这个架构，发现很适合ossec，也很好玩。
一、介绍：
elk官网https://www.elastic.co/downloads
elk由elasticsearch、logstash和kiabana三个开源工具组成。
二、ossec redis elk架构图：
1、每个应用的功能：
ossec：事件源、alert源
redis：用于处理队列，防止数据丢失。缓冲数据。
logstash: 它用来对日志进行收集、分割、集中日志平台
elasticsearch: 开源分布式搜索引擎,提供搜索功能，并用来存储最终的数据
kibana: web页面展示，支持各种查询、统计和展示
2、工作流程：
(1)、ossec client通过1514端口把日志发送给ossec server（存储在/var/logs/ossec/alerts/alerts.log），logstash-shipper把ossec server的所有日志分割，并将分割后的日志内容发给redis。
(2)、redis作为ossec server和logstash indexer之间的缓冲区，用来提升系统性能与可靠性,当logstash提取数据失败时,数据保存在redis中,不至于丢失。
(3)、logstash indexer提取redis的日志，将日志收集在一起(负责汇总数据)。
(4)、logstash indexer再把数据交给elasticsearch，elasticsearch存储最终的数据，并提供搜索功能。
(5)、最后通过kibana提供日志分析的web界面。
三、安装elk：
1、elk包
elk更新很快，版本众多，如果选择版本不一致，可能没办法使用。
如果安装最新版本elk，logstash3.x配置要更改，如果使用logstash2.52的配置，会报错。
elk有3种安装方式，我这里选择tar.gz包来安装。
logstash-1.5.2.tar.gz
elasticsearch-1.6.0.tar.gz
kibana-4.1.1-linux-x64.tar.gz
redis-3.0.6.tar.gz
2、服务器ip
ossec client：192.168.153.187
ossec server：192.168.153.172（安装ossec server和logstash，把这台服务器看成是logstash的client（即logstash-shipper）
elk redis：192.168.153.200（这个logstash是server,即indexer）
3、安装过程
(1)、192.168.153.187
安装 ossecclient，安装见之前的博客
(2)、192.168.153.172
安装 ossec server，安装见之前的博客
安装logstash
logstash依赖jdk的，安装jdk
[root@elk-redis ~]# yum install java-1.8.0-openjdk
[root@elk-redis ~]# java -version
openjdk version 1.8.0_91
[root@ossec-server ~]# wget https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
[root@ossec-server ~]# tar -xf logstash-1.5.2.tar.gz -c /usr/local/
后台运行logstash
[root@ossec-server ~]# /usr/local/logstash-1.5.2/bin/logstash -f /usr/local/logstash-1.5.2/logstash-200.conf &
logstash startup completed
{
@timestamp => 2016-05-19t02:03:22.746z,
@version => 1,
ossec_group => pam,syslog,,
reporting_ip => 192.168.153.187,
reporting_source => /var/log/secure,
rule_number => 5502,
severity => 3,
signature => login session closed.,
@message => may 19 10:03:57 localhost sshd[4623]: pam_unix(sshd:session): session closed for user root,
@fields.hostname => agent15,
@fields.product => ossec,
raw_message => alert 1463623401.3764: – pam,syslog,\\\\n2016 may 19 10:03:21 (agent15) 192.168.153.187-
>/var/log/secure\\\\nrule: 5502 (level 3) -> \\\’login session closed.\\\’\\\\nmay 19 10:03:57 localhost sshd[4623]: pam_unix
(sshd:session): session closed for user root,
ossec_server => ossec-server
}
{
@timestamp => 2016-05-19t02:03:58.846z,
@version => 1,
ossec_group => syslog,sshd,authentication_success,,
reporting_source => 192.168.153.172,
rule_number => 5715,
severity => 3,
signature => sshd authentication success.,
src_ip => 192.168.153.1,
acct => root,
@message => may 19 10:03:57 ossec-server sshd[22805]: accepted password for root from 192.168.153.1 port 31490
ssh3,
@fields.hostname => ossec-server,
@fields.product => ossec,
raw_message => alert 1463623437.4008: – syslog,sshd,authentication_success,\\\\n2016 may 19 10:03:57 ossec-server-
>192.168.153.172\\\\nrule: 5715 (level 3) -> \\\’sshd authentication success.\\\’\\\\nsrc ip: 192.168.153.1\\\\nuser: root\\\\nmay 19 10:03:57
ossec-server sshd[22805]: accepted password for root from 192.168.153.1 port 31490 ssh3,
ossec_server => ossec-server
(3)、192.168.153.200
a、安装elasticsearch
elasticsearch是依赖jdk的，所以先安装jdk
[root@elk-redis ~]# yum install java-1.8.0-openjdk
[root@elk-redis ~]# java -version
openjdk version 1.8.0_91
[root@elk-redis ~]# tar -xf elasticsearch-1.6.0.tar.gz -c /usr/local/
后台启动elasticsearch
[

云服务器1核2核区别
个人和企业注册商标区别
云服务器怎么用来学习
谷歌浏览器双击无反应如何处理 双击谷歌浏览器打不开的解决教程
电脑没有ps怎么改照片dpi 电脑图片分辨率怎么调
阿里云服务器ecs代购享折扣
云服务器ecs支持的运维工具
如何建立一个网站并且能被人青睐呢？