+1

Install Elasticsearch, Logstash, Kibana 4 ELK Stack on AWS

ELK là một bộ công cụ bao gồm 3 phần mềm: Logstash, elasticsearch,kibana

  • Logstash: Đây là một công cụ sử dụng để thu thập, xử lý log được viết bằng java. Nhiệm vụ chính của logstash là thu thập log sau đó chuyển vào Elastichsearch. Mỗi dòng log của logstash được lưu trữ đưới dạng json.

  • Elasticsearch: sử dụng cơ sở dữ liệu NoSQL dựa trên nền tảng của Apache Lucene engine. Dùng để lưu trữ dữ liệu và cung cấp interface cho phép truy vấn đến cơ sở dữ liệu.

  • Kibana: Đây là giao diện sử dụng dành cho người dùng trên môi trường web. Kibana sẽ sử dụng Elashtichsearch để tìm kiếm các dữ liệu phù hợp với yêu cầu của người dùng.

Install VM instances EC2

Step 1:

Step 2:

Step 3:

Step 4:

Step 5:

Step 6:

Step 7:

Step 8:

Install ELK on AWS

First, connect to AWS by Putty, PuttyGen


Install Elasticsearch 1.7.2


Commands

sudo su

yum update -y

cd /root

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.noarch.rpm

yum install elasticsearch-1.7.2.noarch.rpm -y

rm -f elasticsearch-1.7.2.noarch.rpm

cd /usr/share/elasticsearch/

./bin/plugin -install mobz/elasticsearch-head

./bin/plugin -install lukas-vlcek/bigdesk

./bin/plugin install elasticsearch/elasticsearch-cloud-aws/2.7.1

./bin/plugin --install lmenezes/elasticsearch-kopf/1.5.7

cd /etc/elasticsearch

nano elasticsearch.yml

Config


cluster.name: awstutorialseries

cloud.aws.access_key: 

cloud.aws.secret_key: 

cloud.aws.region: us-east-2

discovery.type: ec2

discovery.ec2.tag.Name: "Elasticsearch" (tên của instance)

http.cors.enabled: true

http.cors.allow-origin: "*"

This should work

sudo service elasticsearch start

This should also work, though the PID file will not be removed
sudo service elasticsearch stop
Crash -- permissions error
sudo service elasticsearch restart
But this will work because it doesnt try to remove the PIDFILE
sudo service elasticsearch start

Logstash 1.5.4-1


Commands


sudo su

yum update -y

cd /root

wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.4-1.noarch.rpm

yum install logstash-1.5.4-1.noarch.rpm -y

rm -f logstash-1.5.4-1.noarch.rpm

nano /etc/logstash/conf.d/logstash.conf

Config

input { file { path => "/tmp/logstash.txt" } } output { elasticsearch { host => "ELASTICSEARCH_URL_HERE" protocol => "http" } }

service logstash start

Kibana 4.1.2


Commands


sudo su

yum update -y

cd /root

wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

tar xzf kibana-4.1.2-linux-x64.tar.gz

rm -f kibana-4.1.2-linux-x64.tar.gz

cd kibana-4.1.2-linux-x64

nano config/kibana.yml

Config

elasticsearch_url: "ELASTICSEARCH_URL_HERE"
nohup ./bin/kibana &

Navigate In Browser

http://KIBANA_URL:5601

All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí