Luận văn ThS: Nghiên cứu giải pháp tự động phát hiện sự có hệ thống dựa trên công nghệ ELK

108 lượt xem
Share

Luận văn Nghiên cứu giải pháp tự động phát hiện sự có hệ thống dựa trên công nghệ ELK tìm hiểu nền tảng lý thuyết về công nghệ tích hợp dữ liệu và hệ truy hồi thông tin; tìm hiểu về một số nền tảng công nghệ thông dụng hiện nay được sử dụng cho bài toán quản lý dữ liệu log tập trung; so sánh các giải pháp công nghệ và lựa chọn giải pháp công nghệ phù hợp để triển khai bài toán quản lý dữ liệu log tại Tập đoàn Bảo Việt; tìm hiểu chi tiết nền tảng công nghệ đã lựa chọn về mô hình, cách thức hoạt động, thành phần, cài đặt, cấu hình, cú pháp lập trình, …

Mục lục nội dung

Luận văn ThS: Nghiên cứu giải pháp tự động phát hiện sự có hệ thống dựa trên công nghệ ELK

1. Mở đầu

1.1 Tính cấp thiết 

Tại Việt Nam, các dịch vụ Công nghệ thông tin phục vụ nghiệp vụ kinh doanh đang trở thành xương sống của các doanh nghiệp. Nền kinh tế hội nhập đòi hỏi các doanh nghiệp cần phải cung cấp được các dịch vụ với chất lượng cao nhất có thể để cạnh tranh được với các đối thủ trong và ngoài nước. Một hệ thống dịch vụ Công nghệ thông tin phục vụ nghiệp vụ kinh doanh đòi hỏi dịch vụ đó phải có tốc độ xử lý nhanh, phục vụ được nhiều người dùng đồng thời và phải luôn sẵn sàng 24/7. Bất kỳ một hệ thống dịch vụ Công nghệ thông tin nào cũng tiềm ẩn nhiều rủi ro gây gián đoạn hoạt động kinh doanh của Tổ chức, Doanh nghiệp. Để có thể cung cấp dịch vụ Công nghệ thông tin với chất lượng cao nhất, ngoài đội ngũ cán bộ có trình độ chuyên môn tốt để phát triển và vận hành các dịch vụ công nghệ thông tin thì doanh nghiệp cũng cần phải có các giải pháp để giúp giảm thiểu sự cố, rủi ro gây gián đoạn dịch vụ.

1.2 Mục tiêu nghiên cứu

Tìm hiểu được một số kỹ thuật và công nghệ tích hợp dữ liệu, truy hồi thông tin. Một số nền tảng công nghệ nổi bật được sử  dụng trong bài toán quản lý log tập trung, trong đó đi sâu vào nghiên cứu công nghệ mã nguồn mở ELK (ElasticSearch, LogStash và Kibana) để đưa vào áp dụng tại Tập đoàn Bảo Việt. 

1.3 Đối tượng nghiên cứu

Một số kỹ thuật, công nghệ tích hợp dữ liệu, truy hồi thông tin để làm nền tảng cơ sở lý thuyết. Một số nền tảng công nghệ sử dụng cho bài toán quản lý logs tập trung, trong đó tập trung vào nghiên cứu công nghệ mã nguồn mở ELK  (ElasticSearch, LogStash và Kibana) và đưa vào áp dụng cho Tập đoàn Bảo Việt.

2. Nội dung

2.1 Giới thiệu bài toán và lựa chọn công nghệ 

Một số khái niệm

Giới thiệu bài toán 

Lựa chọn công nghệ 

Tìm hiểu nền tảng công nghệ ELK 

  • Giới thiệu ELK 
  • ElasticSearch 
  • Logstash 
  • Kibana 

Kết luận

2.2 Xây dựng hệ thống quản lý log tập trung

Hiện trạng hạ tầng công nghệ thông tin Bảo Việt

  • Hiện trạng dịch vụ 
  • Hiện trạng hạ tầng máy chủ 
  • Hiện trạng nền tảng hệ điều hành và phần mềm
  • Hiện trạng mô hình hạ tầng hệ thống công nghệ thông tin
  • Hiện trạng quản lý, giám sát hệ thống

Kiến trúc giải pháp 

  • Mô hình tổng thể giải pháp 
  • Mô hình luồng dữ liệu 
  • Mô hình trao đổi dữ liệu với các hệ thống khác 

Kết luận

2.3 Xây dựng thử nghiệm hệ thống quản lí

Môi trường thử nghiệm 

Mô hình và cấu hình thử nghiệm

Kết quả đạt được 

Đánh giá kết quả

Các vấn đề còn tồn tại và hướng phát triển

  • Vấn đề sử dụng nhiều tài nguyên máy chủ
  • Vấn đề thất lạc dữ liệu log
  • Hướng phát triển giải quyết vấn đề

Kết luận

3. Kết luận

Quản lý tốt dữ liệu log và có cơ chế cảnh báo tự động sẽ giúp cán bộ quản trị hệ thống sớm biết được các vấn đề xảy ra với hệ thống của mình theo thời gian thực để có thể thực hiện các biện pháp khắc phục kịp thời trước khi sự cố hệ thống thực sự xảy ra. Luận văn đã có một số đóng góp sau: 

  • Thứ nhất: đã phân tích được các điểm  yếu tồn tại trong cách thức quản lý và giám sát dữ liệu log hiện tại của Tập đoàn Bảo Việt
  • Thứ hai: xác định được 2 vấn đề chính cần giải quyết cho bài toán quản lý dữ liệu log tại Bảo Việt để có thể giải quyết được những điểm yếu, hạn chế trên
  • Thứ ba: đã phân tích, thiết kế và đưa vào thử nghiệm thành công giải pháp quản lý dữ liệu log sử dụng công nghệ ELK giúp giải quyết được 2 vấn đề đã phân tích ở trên, kết quả đạt được có thể hỗ trợ phát hiện sớm các vấn đề phát sinh bên trong hệ thống giúp cán bộ quản trị khắc phục kịp thời các lỗi có thể gây xảy ra sự cố cho hệ thống

4. Tài liệu tham khảo

PGS. TS. Nguyễn Trí Thành, Bài giảng môn học các hệ truy hồi thông tin,  Đại học Công Nghệ.

Mounia Lalmas (2011), Introduction to Information Retrieval

Djoerd Hiemstra, Information Retrieval Models

Clinton Gormley and Zachary Tong (2015), Elasticsearch: The Definitive Guide

Patrick Ziegler and Klaus R. Dittrich (2007), “Data Integration-Problems, Approaches, and Perspectives”, Database Technology Research Group

Colin White, IBM BI Research(2006),  A roadmap to  enterprise data integration...

--- Nhấn nút TẢI VỀ hoặc XEM ONLINE để tham khảo đầy đủ nội dung Luận văn Thạc sĩ trên ---

108 lượt xem
Share
Ngày:19/08/2020 Chia sẻ bởi:
TẢI VỀ XEM ONLINE

CÓ THỂ BẠN QUAN TÂM