LOKI (4) 썸네일형 리스트형 [로그 모니터링] Grafana Alerting [로그 모니터링] 시리즈를 통해 로그 모니터링을 위한 시스템을 구축했다. 이제 그라파나 대시보드를 통해 실시간으로 로그를 확인할 수 있다.이번 글에서는 Grafana 의 alert 기능을 사용하여 Error 로그가 출력될 때마다 알림이 발생하도록 해보겠다. 예제는 Grafana 의 예제문서를 참고했다. (https://grafana.com/tutorials/create-alerts-with-logs/)1. Contact point 설정Alert 설정을 하기에 앞서 먼저 알림이 발생하는 경우, 알림을 전송할 Contact point 를 생성해준다. Contact point 는 email, Slack, webhook 등 다양한 방식으로 알림을 전달할 수 있는데, 이 글에서는 Webhook 방식으로 알림을 전.. [로그 모니터링] Fluent Bit 설치와 시스템 연동 이전 글들에서 Grafana 와 Loki 까지 구성을 완료했다.이번 글에서는 Fluent Bit 를 설치하고 로그를 출력할 샘플 app 과 연동해서 Grafana 대시보드에 로그가 출력되는 것까지 완료해보겠다.1. Fluent Bit 설치Fluent Bit 공식 문서의 Docker 설치 방법을 참고하여 Docker 컨테이너로 Fluent Bit 서비스를 실행시켜 보겠다.- installation > download and install fluent bit > docker Download and install Fluent Bit | Fluent Bit: Official Manual docs.fluentbit.io- docker-compose.yaml공식 문서에서 docker run 명령어로 Fluent B.. [로그 모니터링] Loki 설치와 Grafana 연동 지난 글 (https://jammdev.tistory.com/284) 에서는 로그 모니터링 시스템의 Grafana 를 설치했다. 이번 글에서는 Loki 를 설치하고 Grafana 에 연동하는 과정을 정리해보겠다.1. Loki 설치 및 환경설정Grafana Loki 의 공식 문서를 참고하여 Loki 설치와 환경설정을 진행하려고 한다. Loki 는 여러 컴포넌트들로 구성되어 있는 microservice architecture 를 가지고 있다. Loki 를 실행시킬 때 deployment mode 를 설정하여 시스템을 monolithic 하게 구성할 것인지, micro 하게 구성할 것인지 결정할 수 있다. 이 글에서는 아래 링크의 예제와 같이 simple scalable deployment 구조로 read, .. [로그 모니터링] Fluent-bit + Loki + Grafana 로그 모니터링 시스템 1. 기술 스택 선정회사에서 운영하는 서비스의 로그 시스템을 고도화하려고 준비중이다. 기존에는 프레임워크의 로그 모듈을 이용하여 stdout 으로 출력하거나 파일에 기록을 해서 보관해왔다. 그러나 서비스 규모도 커지고, 여러 컨테이너들이 동작하면서 로그 파일 관리, 로그 추적 및 디버깅 등이 어려워지기 시작했다. 이러한 문제들을 해결하기 위해 로그 저장, 검색 등을 보다 편리하게 할 수 있는 로그 모니터링 시스템을 설계하게 되었다. 초기에는 현업에서 많이 사용하는 ELK 스택을 검토했다. 아무래도 많이 사용하고 있기에 레퍼런스도 많았고, 로그를 문서 기반 데이터로 저장하면서 강력한 검색 및 분석 기능을 성숙한 기술이지만 아래와 같은 운영 부담도 존재했다. - 로그 전체를 인덱싱하면서 발생하는 저장 비용-.. 이전 1 다음