본문 바로가기

filebeat

(3)
docker-ELK, Filebeat, 그리고 docker compose - #3 일단 기쁜 소식부터 전하고 시작하겠습니다! network 사용 안하고 드디어 Filebeat와 Logstash를 연결했습니다👏👏👏👏👏👏 상황을 설명하고 친구들과 같이 고쳤는데 생각지도 못한 곳에서... 문제가 있더라구요 일단 적용하기 전에 방화벽 설정에서 포트를 열어줘야 합니다. 각 OS에 따라 포트 여는 방법은 다를테니 이건 다들 검색해서 알아보시고... 저 같은 경우에는 5044 포트를 열어주었구요. 그리고 Logstash의 pipeline 설정에서 아래 그림과 같이 beats 부분에 host를 추가해줍니다. 친구가 저걸 해보라고 했을 때, logstash/config 폴더 안에 있는 logstash.yml 파일에 host 설정이 있어서 흠 왜 해줘야하지? 했는데 일단 저보다 똑똑한 친구니까 믿고 해..
docker-ELK, Filebeat, 그리고 docker compose - #2 아래 글에 이어지는 글입니다🐳 docker-ELK, Filebeat, 그리고 docker compose - #1 오늘도 새로운 걸 건드리고 있습니다. 개인적으로 친구들과 진행하고 있는 프로젝트에서 난생 처음 ELK 스택과 docker를 써보게 생겼네요🐳🐳 워낙 이것저것 많이 긁어모으면서 진행하는 중이라 morgenmuffel.tistory.com 오늘은 Filebeat를 log 파일에 연결하고, 읽어온 값을 Logstash로 보내고, 그 결과를 확인하는 것까지 해보려고 합니다! 일단 시작하기 전에 어제 새벽까지 log 관련 작업하면서 푸념했던 내용을 파이썬 전문가 친구가 아침에 일어나서 읽고 코멘트를 줬는데 - logger가 웹 프레임워크에서 잘 만들어야 하기 때문에 file writer 대신 logge..
docker-ELK, Filebeat, 그리고 docker compose - #1 오늘도 새로운 걸 건드리고 있습니다. 개인적으로 친구들과 진행하고 있는 프로젝트에서 난생 처음 ELK 스택과 docker를 써보게 생겼네요🐳🐳 워낙 이것저것 많이 긁어모으면서 진행하는 중이라 스스로 까먹지 않기 위해 정리하는 성격이 강하지만 그래도 혹시나 누구에게는 도움이 될수도 있으니까... 하는 마음으로 최대한 이쁘게 정리해보려고 합니다. 라이브로 찾아보면서 실행해보면서 쓰는거라 정확하지 않은 내용이 있을 수 있습니다😥 1. 필요한 내용 일단 프로젝트의 전체 폴더 구조는 아래와 같습니다. morgen-muffel ├─test-server │ ├─app.py │ └─Dockerfile ├─log-server │ ├─elasticsearch │ ├─kibana │ ├─logstash │ └─docker-..