EFK (Elasticsearch, Fluentd, Kibana)

마이크로 서비스 아키텍처에서 중앙 집중식 로깅 컴포넌트를 쉽게 설명하자면, 여러 개의 서비스를 한곳에서 관찰하고 문제를 추적할 수 있게 도와주는 **"통합 노트"**라고 생각하면 돼요.

왜 필요할까?
마이크로 서비스 아키텍처에서는 여러 개의 서비스가 독립적으로 동작하죠. 그런데 각각의 서비스가 자기 로그만 따로 저장하면, 서비스 간 문제가 생겼을 때 어디서부터 잘못됐는지 찾기가 매우 어려워요.

중앙 집중식 로깅은 뭐야?
이럴 때 중앙 집중식 로깅은 모든 서비스의 로그를 한곳에 모아주는 역할을 해요.
이렇게 되면 마치 여러 개의 일기를 한 권의 다이어리로 정리한 것처럼, 각 서비스의 로그를 한곳에 모아서 필요한 정보를 한눈에 확인할 수 있도록 만들어 주는 거예요.

대표적인 구현 도구로는 ELK Stack (Elasticsearch, Logstash, Kibana) 같은 것들이 사용돼요. Logstash로 로그를 모으고, Elasticsearch로 저장하고, Kibana로 시각화하는 방식이죠. 

 

1. Elasticsearch (E)

• 역할: 수집된 로그 데이터를 저장하고 검색하는 역할.
• 특징:
  • 빠른 검색: 방대한 양의 데이터를 효율적으로 저장하고 빠르게 검색할 수 있음.
  • 구조화된 데이터와 비구조화된 데이터 모두를 저장할 수 있음.

---

2. Fluentd (F)

• 역할: 로그 데이터를 수집하고 전달하는 역할.
• 특징:
  • 다양한 데이터 소스(서버, 애플리케이션, 컨테이너 등)에서 로그를 가져옴.
  • 가져온 데이터를 Elasticsearch로 전달.
  • 로그 데이터를 필요한 형식으로 변환 가능.

---

3. Kibana (K)

• 역할: Elasticsearch에 저장된 로그 데이터를 시각화하는 도구.
• 특징:
  • 사용자가 로그 데이터를 쉽게 분석할 수 있도록 그래프, 차트, 대시보드로 보여줌.
  • 시간별, 서비스별, 에러 유형별로 로그를 필터링하고 분석할 수 있음.

 

 

 

 

2024.1.10 - 현재 window에서 kibana 설치시 window defender보안이슈가 있어서 기능이 켜져있다면 old버전만 다운가능....