docker-ELK, Filebeat, 그리고 docker compose - #1

오늘도 새로운 걸 건드리고 있습니다.

개인적으로 친구들과 진행하고 있는 프로젝트에서

난생 처음 ELK 스택과 docker를 써보게 생겼네요🐳🐳

 

워낙 이것저것 많이 긁어모으면서 진행하는 중이라 스스로 까먹지 않기 위해 정리하는 성격이 강하지만

그래도 혹시나 누구에게는 도움이 될수도 있으니까... 하는 마음으로 최대한 이쁘게 정리해보려고 합니다.

라이브로 찾아보면서 실행해보면서 쓰는거라 정확하지 않은 내용이 있을 수 있습니다😥

 

1. 필요한 내용

일단 프로젝트의 전체 폴더 구조는 아래와 같습니다.

morgen-muffel
├─test-server
│  ├─app.py
│  └─Dockerfile
├─log-server
│  ├─elasticsearch
│  ├─kibana
│  ├─logstash
│  └─docker-compose.yml
└docker-compose-test.yml

폴더랑 파일 색을 구분하고 싶지만 그건 포기하도록 하구요🙄

test-server에서 발생하는 로그를 Filebeat가 받아서 Logstash로 보내고, 이를 Elasticsearch에 적재하고 Kibana로 보는

지극히 상식적이고 일반적인 구조입니다.

다만 ELK나 docker를 처음 쓰다보니 알아야 할게 너무 많아서 약간 고통스럽네요!

지금 docker-compose가 두 종류가 있는데

log-server 아래 있는 docker-compose.yml 파일은 ELK stask을 하나의 컨테이너에 띄워주는 아주 착한 녀석이구요(당연히 제가 만들진 않았습니다)

GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose.

제가 만들어야 할 것은 morgen-muffel 하위에 있는 docker-compose-test.yml 파일입니다.

이 친구의 역할은

test-server에 있는 Dockerfile을 실행해 app.py에 있는 내용으로 flask로 띄우는 것과 동시에

flask로 만들어진 서버가 log 폴더에 떨궈주는 내용을 읽어서 Logstash에 저장하는 Filebeat를 띄우는 것입니다🤨

그렇다면 docker-compose-test도 test-server 폴더 안에 만들면 될텐데! 하고 생각했지만

친구들과 나눠서 만들다보니, 저 test-server에 해당하는 내용은 다른 친구가 만들 예정이에요

나중에 얘기해보고 폴더 구조를 바꿀수도 있지만

일단은 "특정 경로에 있는 Dockerfile과 Filebeat를 함께 띄우기"에 집중해보려고 합니다

 

저 위에 있는 스택들 중에 전 써본게 하나도 없네요😁😁😁😁

써본게 없다는 얘기는 저 내용을 하나하나 만드는 모든 과정에 구글이 함께한다는 것!🚀

 

2. 테스트용 서버 띄우기

테스트용 서버이기 때문에 많은걸 바라지 않습니다.

아주 단순히 접속하면 접속한 시간만 log에 떨궈주는 역할만 할 예정입니다.

이 파일을 읽어서 ES에 제대로 보내는지만 보면 되기 때문에!

하지만 그 서버를 Docker로 띄워야 하기 때문에

그 간단한 것도 구글의 도움을 잔뜩 받고 있습니다.

마침 docker compose 문서에서 flask로 예시를 들고 있어서 이걸 따라하기로 했습니다.

Get started with Docker Compose

app.py의 내용을 flask로 띄우는 예시인데 간단하고 아주 좋군요.

하지만 바로 문제에 봉착했습니다.

저 예시는 redis에 count를 저장하는데, 전 log 폴더에 log를 떨구고 싶단 말이죠...

Python logging을 활용해 Flask에서 logging하는 방법

원하는 로그를 만드는 내용은 이 깃헙 페이지를 참고했습니다.

두 내용을 조합해 작성한 코드는 아래와 같네요

import datetime
import logging
from flask import Flask, request

app = Flask(__name__)

logging.basicConfig(filename = "logs/test.log", level = logging.DEBUG)

def log(request, message):
    log_date = get_log_date()
    log_message = "{0}/{1}/{2}".format(log_date, str(request), message)
    logging.info(log_message)

def get_log_date():
    dt = datetime.datetime.now(timezone("Asia/Seoul"))
    log_date = dt.strftime("%Y%m%d_%H:%M:%S")
    return log_date

@app.route('/')
def hello():
    log(request, "hello route")
    return "hello"

if __name__ == '__main__':
    app.run(debug=True)

그리고 dependency 설정을 위한 requirements.txt와 이 앱을 Flask로 실행해주는 Dockerfile을 작성합니다.

이건 docker compose 문서에 있는 내용을 그대로 썼어요!

그리고 최상위 폴더에 docker-compose-test.yml 파일을 작성해줍니다.

기본적인 내용은 문서에 있는걸 참고했지만, 파일 경로는 저에게 맞게 바꿔주었습니다.

일단 Filebeat 없이 Flask가 잘 뜨고 log를 잘 찍는지 보도록 합시다.

version: "3.9"
services:
  web:
    build: ./test-server
    ports:
      - "5000:5000"

이렇게 작성한 뒤 docker-compose up을 실행해줄텐데,

지금은 파일 이름이 디폴트 값(docker-compose.yml)이 아니므로

docker-compose -f docker-compose-test.yml up

을 실행해주면 된다고 합니다. 구글이 그랬어요.

실행하면... 음 제대로 서버가 안뜨네요

뭔가 에러가 나서 고치기 전에는 떴는데 그걸 수정하고 나니까 안뜹니다.

이것저것 테스트해보면서 알게 된 결과는 logging.basicConfig를 삭제하면 제대로 서버가 뜬다는 점입니다.

그리고 hello 안에서 log 메소드를 호출하면 기본 로그 외에 다른 로그가 뜨는데, INFO:werkzeug로 시작하는 로그가 뜨네요.

왠지 이 친구랑 연관이 있을 것 같아 구글링을 해보았습니다.

Logging — Flask Documentation (2.0.x)

맨 마지막에

Werkzeug logs basic request/response information to the 'werkzeug' logger. If the root logger has no handlers configured, Werkzeug adds a StreamHandler to its logger.

라고 하는걸 보고 이것저것 테스트를 해보았습니다.

werkzeug에 file handler를 붙이면 뭔가 될수도 있지 않을까.... 하는 생각이 들어서 이래저래 난리를 치면서

.

.

.

.

그리고 수많은 삽질끝에 결국 해결책을 알아냈습니다.

일단 완성된 코드부터 공개하겠습니다.

import datetime
import logging
from flask import Flask, request
from pytz import timezone

app = Flask(__name__)

def log(request, message):
    log_date = get_log_date()
    log_message = 
    	"{{\n\tdate: {0}\n\trequest: {1}\n\tmessage: {2}\n}}"
        .format(log_date, str(request), message)
    logging.getLogger('my').info(log_message)

def get_log_date():
    dt = datetime.datetime.now(timezone("Asia/Seoul"))
    log_date = dt.strftime("%Y/%m/%d %H:%M:%S")
    return log_date

@app.route('/')
@app.route('/<name>')
def hello(name=''):
    log(request, "hello " + name)
    return "hello " + name

if __name__ == "app":
    fileHandler = logging.FileHandler('logs/test.log')
    myLogger = logging.getLogger('my')
    myLogger.setLevel(logging.INFO)
    myLogger.addHandler(fileHandler)

먼저 문제가 됐던 서버가 뜨지 않는 경우는

app이 제대로 loading되기 전에 logging.~~~ 를 호출해서 생긴 문제였던 것 같습니다.

그래서 그 부분을 옮겨줘야 했고 구글링을 해 app.py를 flask run으로 실행하면 __name__이 app이 된다는 내용을 찾아 마지막 블록을 고쳐주었습니다.

그리고 'werkzeug' logger 관련해서는, 저 친구에 직접 file handler를 붙이면 되지 않을까 했지만

root logger로 추정되는 친구에게도 동일하게 적용되어 원하지 않는 로그까지 찍히는 상황이 되더라구요.

그래서 새로운 my logger를 만들어서, 여기에만 file handler를 연결하고 log 메소드에서도 이 친구를 사용해 내용을 출력했습니다.

그리고 결과물을 보면

test.log 파일

Flask Server Log

Flask Server Log와 test.log 파일 내용이 아주 잘 분리되어 적히는 것을 볼 수 있습니다!

포맷팅은 그냥 너무 신나서 추가해 버렸구요

물론 저 상태로 Filebeat로 넘겨주면 Logstash가 잘 받을지는 모르겠지만😁

그리고 너무 신난 김에 route도 추가했습니다.

<name>과 같은 parameter를 쓰면 어떤 값이 들어와도 변수로 받을 수 있는것 같더라구요.

로그에서 보시다시피 URL에 localhost:5000/morgenmuffel 이라고 적으면 로그에도 이 값이 이쁘게 들어갑니다.

 

사실 하다가 중간에 멘붕이 와서 친구한테 하소연했는데

그냥 file writer를 쓰면 안되냐고 하는걸 보고.....

역시 머리가 나쁘면 몸이 고생한다는걸 느꼈습니다.

그냥 append 모드로 파일을 열어서 쓸걸....

그래도 결국 해냈으니 만족합니다..... 지금 시각 새벽 6시....

원래 Filebeat까지 테스트 해보려고 했는데 도저히 못하겠네요.

제가 원래 크롬 탭 많이 뜬걸 싫어해서 맨날 끄면서 작업하는데

오늘은 거의 마흔개가 떠있네요!

저 중에 Filebeat 연결할 때 뭐가 필요할지 모르겠습니다.... 하나하나 보면서 남겨놔야겠어요

아마 내일, 아 오늘이군요 오늘 중에 Filebeat 연결하면서 또 푸념글을 적어보도록 하겠습니다!