Nội dung
- Giới thiệu về các thành phần Graylog - Yêu cầu - Cài đặt MongoDB - Cài đặt Java - Cài đặt Elasticsearch - Cài đặt Server Graylog - Cài đặt Graylog Web - Cấu hình Graylog để nhận thông báo log hệ thống - Cấu hình Rsyslog để Gửi Syslog tới Server Graylog - Xem các nguồn Graylog của bạn - Tìm kiếm dữ liệu Graylog của bạn - Kết luận

Thứ năm, 04/02/2016 | 00:00 GMT+7

Cách cài đặt Graylog 1.x trên Ubuntu 14.04

Trong hướng dẫn này, ta sẽ trình bày cách cài đặt Graylog v1.3.x (đôi khi được gọi là Graylog2) trên Ubuntu 14.04 và cấu hình nó để tập hợp các log hệ thống của bạn ở một vị trí tập trung. Graylog là một công cụ phân tích và quản lý log mạnh mẽ có nhiều trường hợp sử dụng, từ theo dõi đăng nhập SSH và hoạt động bất thường đến gỡ lỗi ứng dụng. Nó dựa trên Elasticsearch, Java và MongoDB.

Có thể sử dụng Graylog để thu thập và theo dõi nhiều loại log , nhưng ta sẽ giới hạn phạm vi của hướng dẫn này là thu thập log hệ thống. Ngoài ra, vì ta đang trình bày những điều cơ bản của Graylog, ta sẽ cài đặt tất cả các thành phần trên một server duy nhất.

Giới thiệu về các thành phần Graylog

Graylog có bốn thành phần chính:

Các node Server Graylog: Đóng role như một nhân viên nhận và xử lý thông báo, đồng thời giao tiếp với tất cả các thành phần không phải server khác. Hiệu suất của nó phụ thuộc vào CPU
Các node Elasticsearch : Lưu trữ tất cả log / tin nhắn. Hiệu suất của nó phụ thuộc vào RAM và đĩa I / O
MongoDB : Lưu trữ metadata và không tải nhiều
Giao diện Web : Giao diện user

Đây là sơ đồ của các thành phần Graylog ( lưu ý các thông báo được gửi từ các server khác của bạn):

Cài đặt Graylog cơ bản

Hướng dẫn này sẽ thực hiện cài đặt Graylog rất cơ bản, với tất cả các thành phần được cài đặt trên cùng một server . Đối với một cài đặt production lớn hơn, bạn nên cài đặt cài đặt các thành phần trên các server riêng biệt vì lý do hiệu suất.

Yêu cầu

Cài đặt được mô tả trong hướng dẫn này yêu cầu server Ubuntu 14.04 với ít nhất 2GB RAM. Bạn cũng cần quyền truy cập root (Các bước 1-4 của Cài đặt Server Ban đầu với Ubuntu 14.04 ).

Nếu bạn sử dụng VPS có RAM dưới 2GB, bạn sẽ không thể khởi động tất cả các thành phần của Graylog.

Hãy bắt đầu cài đặt phần mềm!

Cài đặt MongoDB

Việc cài đặt MongoDB rất đơn giản và nhanh chóng. Chạy lệnh sau để nhập khóa GPG công khai MongoDB thành apt:

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10

Tạo danh sách nguồn MongoDB:

echo "deb http://repo.mongodb.org/apt/ubuntu "$(lsb_release -sc)"/mongodb-org/3.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.0.list

Cập nhật database gói apt của bạn:

sudo apt-get update

Cài đặt version MongoDB ổn định mới nhất bằng lệnh này:

sudo apt-get install mongodb-org

MongoDB sẽ được cài đặt và chạy ngay bây giờ. Hãy chuyển sang cài đặt Java.

Cài đặt Java

Elasticsearch yêu cầu Java, vì vậy ta sẽ cài đặt nó ngay bây giờ. Ta sẽ cài đặt Oracle Java 8 vì đó là những gì được Elastic khuyến nghị. Tuy nhiên, nó sẽ hoạt động tốt với OpenJDK, nếu bạn quyết định đi theo con đường đó.

Thêm Oracle Java PPA vào apt:

sudo add-apt-repository ppa:webupd8team/java

Cập nhật database gói apt của bạn:

sudo apt-get update

Cài đặt version ổn định mới nhất của Oracle Java 8 bằng lệnh này (và chấp nhận thỏa thuận cấp phép bật lên):

sudo apt-get install oracle-java8-installer

Bây giờ Java đã được cài đặt, hãy cài đặt Elasticsearch.

Cài đặt Elasticsearch

Graylog 1.x chỉ hoạt động với các version Elasticsearch trước 2.0, vì vậy ta sẽ cài đặt Elasticsearch 1.7.x. Elasticsearch có thể được cài đặt với trình quản lý gói bằng cách thêm danh sách nguồn gói của Elastic.

Chạy lệnh sau để nhập khóa GPG công khai Elasticsearch thành apt:

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Nếu dấu nhắc của bạn chỉ bị treo ở đó, nó có thể đang đợi password của user của bạn (để cho phép sudo ). Nếu đúng như vậy, hãy nhập password của bạn.

Tạo danh sách nguồn Elasticsearch:

echo "deb http://packages.elastic.co/elasticsearch/1.7/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-1.7.x.list

Cập nhật database gói apt của bạn:

sudo apt-get update

Cài đặt Elasticsearch bằng lệnh này:

sudo apt-get -y install elasticsearch

Elasticsearch hiện đã được cài đặt. Hãy chỉnh sửa cấu hình:

sudo vi /etc/elasticsearch/elasticsearch.yml

Tìm phần chỉ định cluster.name . Bỏ ghi chú nó và thay thế giá trị mặc định bằng "greylog-development", vì vậy nó trông giống như sau:

asticsearch.yml - 1 trong 2

cluster.name: graylog-development

Bạn cần hạn chế quyền truy cập từ bên ngoài vào version Elasticsearch của bạn (cổng 9200), vì vậy người ngoài không thể đọc dữ liệu hoặc tắt cụm Elasticsearch của bạn thông qua API HTTP. Tìm dòng chỉ định network.host , bỏ ghi chú và thay thế giá trị của nó bằng “localhost” để nó trông giống như sau:

asticsearch.yml - 2 trên 2

network.host: localhost

Lưu và thoát elasticsearch.yml .

Bây giờ bắt đầu Elasticsearch:

sudo service elasticsearch restart

Sau đó chạy lệnh sau để khởi động Elasticsearch khi khởi động:

sudo update-rc.d elasticsearch defaults 95 10

Sau một lúc, hãy chạy phần sau để kiểm tra xem Elasticsearch có chạy đúng cách không:

curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'

Bây giờ Elasticsearch đã được cài đặt và chạy, hãy cài đặt server Graylog.

Cài đặt Server Graylog

Bây giờ ta đã cài đặt phần mềm cần thiết khác, hãy cài đặt thành phần server của Graylog, graylog-server .

Đầu tiên, download gói Graylog Debian vào folder chính của bạn bằng các lệnh sau:

cd ~ 
wget https://packages.graylog2.org/repo/packages/graylog-1.3-repository-ubuntu14.04_latest.deb

Sau đó, thêm gói vào trình quản lý gói của bạn bằng lệnh này:

sudo dpkg -i graylog-1.3-repository-ubuntu14.04_latest.deb

Sau đó, cài đặt gói graylog-server bằng các lệnh sau:

sudo apt-get update 
sudo apt-get install apt-transport-https 
sudo apt-get install graylog-server

Cài đặt pwgen, mà ta sẽ sử dụng để tạo khóa bí mật của password :

sudo apt-get install pwgen

Bây giờ ta phải cấu hình password quản trị và khóa bí mật. Khóa bí mật password được cấu hình trong server.conf , bằng tham số password_secret . Ta có thể tạo một khóa ngẫu nhiên và chèn nó vào cấu hình Graylog bằng hai lệnh sau:

SECRET=$(pwgen -s 96 1) 
sudo -E sed -i -e 's/password_secret =.*/password_secret = '$SECRET'/' /etc/graylog/server/server.conf

Các password quản trị được gán bằng cách tạo ra một shasum của password mong muốn, và gán nó vào root_password_sha2 tham số trong file cấu hình Graylog. Tạo password mong muốn của bạn bằng lệnh sau, thay thế "mật khẩu" được đánh dấu bằng của bạn . Lệnh sed sẽ chèn nó vào cấu hình Graylog cho bạn:

PASSWORD=$(echo -n password | shasum -a 256 | awk '{print $1}') 
sudo -E sed -i -e 's/root_password_sha2 =.*/root_password_sha2 = '$PASSWORD'/' /etc/graylog/server/server.conf

Bây giờ password administrator đã được cài đặt , hãy mở cấu hình Graylog để thực hiện một số thay đổi:

sudo vi /etc/graylog/server/server.conf

Bạn sẽ thấy rằng password_secret và root_password_sha2 có các chuỗi ngẫu nhiên cho chúng vì các lệnh bạn đã chạy trong các bước trên.

Bây giờ ta sẽ cấu hình rest_transport_uri , đó là cách giao diện web Graylog sẽ giao tiếp với server . Vì ta đang cài đặt tất cả các thành phần trên một server duy nhất, hãy đặt giá trị thành 127.0.0.1 hoặc localhost . Tìm và bỏ ghi chú rest_transport_uri và thay đổi giá trị của nó để nó trông giống như sau:

/etc/graylog/server/server.conf - 1 trong 4

rest_transport_uri = http://127.0.0.1:12900/

Tiếp theo, vì ta chỉ có một phân đoạn Elasticsearch (đang chạy trên server này), ta sẽ thay đổi giá trị elasticsearch_shards thành 1:

/etc/graylog/server/server.conf - 2/4

elasticsearch_shards = 1

Tiếp theo, thay đổi giá trị của elasticsearch_cluster_name để “graylog-phát triển” (giống như Elasticsearch cluster.name ):

/etc/graylog/server/server.conf - 3/4

elasticsearch_cluster_name = graylog-development

Bỏ ghi chú hai dòng này để khám phá cá thể Elasticsearch bằng cách sử dụng unicast thay vì multicast:

/etc/graylog/server/server.conf - 4/4

elasticsearch_discovery_zen_ping_multicast_enabled = false elasticsearch_discovery_zen_ping_unicast_hosts = 127.0.0.1:9300

Lưu và thoát. Bây giờ graylog-server được cấu hình và sẵn sàng khởi động.

Khởi động server Graylog bằng lệnh dịch vụ:

sudo start graylog-server

Bước tiếp theo là cài đặt giao diện web Graylog. Hãy làm điều đó ngay bây giờ!

Cài đặt Graylog Web

Cài đặt Graylog Web bằng các lệnh sau:

sudo apt-get install graylog-web

Tiếp theo, ta muốn cấu hình khóa bí mật của giao diện web, tham số application.secret trong web.conf . Ta sẽ tạo một khóa khác, như ta đã làm với cấu hình server Graylog và chèn nó bằng sed, như sau:

SECRET=$(pwgen -s 96 1) 
sudo -E sed -i -e 's/application\.secret=""/application\.secret="'$SECRET'"/' /etc/graylog/web/web.conf

Bây giờ hãy mở file cấu hình giao diện web bằng lệnh sau:

sudo vi /etc/graylog/web/web.conf

Bây giờ ta cần cập nhật cấu hình của giao diện web để chỉ định tham số graylog2-server.uris . Đây là danh sách được phân tách bằng dấu phẩy của các URI REST của server . Vì ta chỉ có một nút server Graylog, nên giá trị phải trùng với giá trị của rest_listen_uri trong cấu hình server Graylog (tức là “ http://127.0.0.1:12900/” ).

/etc/graylog/web/web.conf đoạn trích

graylog2-server.uris="http://127.0.0.1:12900/"

Giao diện web Graylog hiện đã được cấu hình . Khởi động giao diện web Graylog:

sudo start graylog-web

Bây giờ ta có thể sử dụng giao diện web Graylog. Hãy làm điều đó ngay bây giờ.

Cấu hình Graylog để nhận thông báo log hệ thống

Đăng nhập vào Giao diện Web Graylog

Trong trình duyệt web yêu thích của bạn, hãy truy cập cổng 9000 của địa chỉ IP công cộng của server của bạn:

In a web browser:
http://graylog_public_IP:9000/

Bạn sẽ thấy một màn hình đăng nhập. Nhập admin làm tên user của bạn và password administrator mà bạn đã đặt trước đó.

Sau khi đăng nhập, bạn sẽ thấy như sau:

Control panel Graylog

Số màu đỏ ở trên cùng là thông báo. Nếu bạn nhấp vào nó, bạn sẽ thấy một thông báo cho biết bạn có một nút mà không có bất kỳ đầu vào đang chạy nào. Hãy thêm đầu vào để nhận thông báo log hệ thống qua UDP ngay bây giờ.

Tạo đầu vào UDP Syslog

Để thêm đầu vào để nhận thông báo log hệ thống, hãy nhấp vào menu thả xuống Hệ thống ở menu trên cùng.

Bây giờ, từ menu thả xuống, hãy chọn Đầu vào .

Chọn Syslog UDP từ menu thả xuống và nhấp vào nút Chạy đầu vào mới .

Cửa sổ phương thức “ Chạy đầu vào mới: Syslog UDP ” sẽ bật lên. Nhập thông tin sau (thay thế bằng địa chỉ IP riêng của server của bạn cho địa chỉ liên kết):

Tiêu đề: syslog
Cổng : 8514
Địa chỉ ràng buộc: graylog_private_IP

Sau đó nhấp vào Chạy .

Đến đây bạn sẽ thấy một đầu vào có tên “nhật ký hệ thống” trong phần Đầu vào cục bộ (và nó sẽ có một hộp màu xanh lục cho biết “đang chạy” bên cạnh), như sau:

Đầu vào log hệ thống Graylog

Bây giờ server Graylog của ta đã sẵn sàng nhận thông báo log hệ thống trên cổng 8514 từ server của bạn. Hãy cấu hình server của bạn để gửi thông báo log hệ thống của chúng tới Graylog ngay bây giờ.

Cấu hình Rsyslog để Gửi Syslog tới Server Graylog

Trên tất cả các server khách hàng của bạn, các server mà bạn muốn gửi thông báo log hệ thống tới Graylog, hãy thực hiện các bước sau.

Tạo file cấu hình log rsyslog trong /etc/rsyslog.d. Ta sẽ gọi 90-graylog.conf ta :

sudo vi /etc/rsyslog.d/90-graylog.conf

Trong file này, hãy thêm các dòng sau để cấu hình rsyslog để gửi thông báo log hệ thống đến server Graylog của bạn (thay thế graylog_private_IP bằng địa chỉ IP riêng của server Graylog của bạn):

/etc/rsyslog.d/90-graylog.conf

$template GRAYLOGRFC5424,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msg%\n" *.* @graylog_private_IP:8514;GRAYLOGRFC5424

Lưu và thoát. Tệp này sẽ được tải như một phần của cấu hình log rsyslog của bạn kể từ bây giờ. Đến đây bạn cần khởi động lại rsyslog để thay đổi có hiệu lực.

sudo service rsyslog restart

Sau khi bạn hoàn tất việc cấu hình rsyslog trên tất cả các server mà bạn muốn theo dõi, hãy quay lại giao diện web Graylog.

Xem các nguồn Graylog của bạn

Trong trình duyệt web yêu thích của bạn, hãy truy cập cổng 9000 của địa chỉ IP công cộng của server của bạn:

In a web browser:
http://graylog_public_IP:9000/

Nhấp vào Nguồn ở thanh trên cùng. Bạn sẽ thấy danh sách tất cả các server mà bạn đã cấu hình rsyslog trên đó.

Tên server của các nguồn nằm ở bên trái, với số lượng tin nhắn mà Graylog nhận được ở bên phải.

Tìm kiếm dữ liệu Graylog của bạn

Sau khi để Graylog thu thập thư một thời gian, bạn có thể tìm kiếm trong các thư. Ví dụ: hãy tìm kiếm “sshd” để xem loại hoạt động SSH nào đang diễn ra trên server của ta . Đây là một đoạn kết quả của ta :

Tìm kiếm ví dụ về Graylog

Như bạn thấy , kết quả tìm kiếm mẫu của ta đã tiết lộ log sshd cho các server khác nhau và rất nhiều lần đăng nhập root không thành công. Kết quả của bạn có thể khác nhau, nhưng nó có thể giúp bạn xác định nhiều vấn đề, bao gồm cả cách user lạ đang cố gắng truy cập vào server của bạn.

Ngoài chức năng tìm kiếm cơ bản trên tất cả các nguồn của bạn, bạn có thể tìm kiếm log của một server lưu trữ cụ thể hoặc trong một khung thời gian cụ thể.

Tìm kiếm thông qua dữ liệu trong Graylog rất hữu ích, chẳng hạn, nếu bạn muốn xem lại log của một server hoặc một số server sau khi sự cố xảy ra. Ghi log tập trung giúp dễ dàng xác định các sự cố liên quan hơn vì bạn không cần phải đăng nhập vào nhiều server để xem tất cả các sự kiện đã xảy ra.

Để biết thêm thông tin về cách thanh tìm kiếm hoạt động, hãy xem tài liệu chính thức: Tìm kiếm Graylog

Kết luận

Đến đây bạn đã cài đặt xong Graylog, hãy khám phá các chức năng khác mà nó cung cấp. Bạn có thể gửi các loại log khác vào Graylog và cài đặt trình extract (hoặc định dạng lại log bằng phần mềm như logstash) để làm cho log có cấu trúc hơn và có thể tìm kiếm được. Bạn cũng có thể xem xét việc mở rộng môi trường Graylog của bạn bằng cách tách các thành phần và thêm dự phòng để tăng hiệu suất và tính khả dụng.

Chúc may mắn!

Tags:

Các tin liên quan