[Docker 강의 16편] 도커 로그 관리

 
안녕하세요 펭귄 교수입니다.
 
애플리케이션이 동작할 때 발생하는 로그는 문제 해결, 성능 분석, 시스템 운영에 필수적인 역할을 합니다.
 
도커와 같은 컨테이너화된 환경에서는 컨테이너마다 로그가 독립적으로 생성되기 때문에, 각 컨테이너의 로그를 효과적으로 관리하는 방법을 이해하고 활용하는 것이 중요합니다.
 
이번 포스팅에서는 도커 로그 관리의 개념, 기본 명령어, 로그 드라이버 설정 및 외부 시스템과의 연동 방법에 대해 살펴보겠습니다.

---

1. 도커 로그의 중요성

로그는 컨테이너 내부에서 발생하는 모든 이벤트, 오류, 정보성 메시지 등을 기록한 데이터입니다. 이러한 로그는 시스템의 동작을 이해하고, 이슈가 발생했을 때 그 원인을 추적하는 데 매우 유용합니다.

도커 로그를 통해 얻을 수 있는 정보:

• 애플리케이션에서 발생하는 에러나 경고
• 서비스의 정상적인 실행 여부
• 성능 문제, 병목현상 등 시스템 이슈
• 보안 관련 경고 메시지

---

2. 기본 도커 로그 명령어

도커는 기본적으로 컨테이너의 표준 출력(STDOUT)과 표준 오류(STDERR)를 기록하고 이를 로그로 제공합니다. 도커 로그를 확인하는 가장 간단한 방법은 docker logs 명령어입니다.

2-1. docker logs 명령어

docker logs 명령어는 특정 컨테이너의 로그를 출력하는 데 사용됩니다. 이 명령어로 애플리케이션의 실행 상태를 파악하고 발생하는 에러나 경고를 추적할 수 있습니다.

docker logs <컨테이너 이름 혹은 ID>

예를 들어, my_container라는 컨테이너의 로그를 확인하려면:

docker logs my_container

2-2. 실시간 로그 추적

애플리케이션의 로그를 실시간으로 확인하려면 -f 옵션을 사용할 수 있습니다. 이는 로그 파일의 마지막 줄부터 새로 추가되는 로그를 지속적으로 출력합니다.

docker logs -f <컨테이너 이름 혹은 ID>

2-3. 특정 시간 범위의 로그 확인

컨테이너의 로그 중 특정 시간 범위만 보고 싶을 때는 --since 또는 --until 옵션을 사용할 수 있습니다. 예를 들어, 지난 1시간 동안의 로그를 확인하려면:

docker logs --since 1h <컨테이너 이름 혹은 ID>

---

3. 도커 로그 드라이버 설정

도커는 기본적으로 로그를 JSON 형식으로 저장하지만, 다양한 로그 드라이버를 지원하여 로그를 외부 시스템에 전송하거나 저장 형식을 변경할 수 있습니다. 이를 통해 로그를 더 효과적으로 관리할 수 있습니다.

3-1. JSON 로그 드라이버

기본적으로 도커는 json-file 로그 드라이버를 사용하여 로그를 JSON 형식으로 저장합니다. 로그 드라이버를 변경하지 않으면 모든 컨테이너의 로그가 JSON 파일로 /var/lib/docker/containers/에 저장됩니다.

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

위 설정은 로그 파일 크기를 10MB로 제한하고, 최대 3개의 로그 파일만 유지하도록 합니다.

3-2. syslog 로그 드라이버

syslog 로그 드라이버를 사용하면 컨테이너의 로그를 로컬 시스템 또는 원격 syslog 서버로 전송할 수 있습니다.

{
  "log-driver": "syslog",
  "log-opts": {
    "syslog-address": "tcp://192.168.1.100:514"
  }
}

이 설정은 특정 서버로 로그를 전송하는 예시입니다. syslog를 사용하면 중앙 집중식 로그 관리 시스템을 구축할 수 있습니다.

3-3. 다른 로그 드라이버

도커는 이 외에도 다양한 로그 드라이버를 지원합니다. 그중 일부는 다음과 같습니다:

• journald: Linux에서 사용되는 systemd의 journald 서비스로 로그를 전송합니다.
• gelf: Graylog Extended Log Format을 사용하여 Graylog와 같은 외부 로그 관리 시스템으로 로그를 전송할 수 있습니다.
• fluentd: Fluentd를 사용하여 로그를 처리하고 다양한 외부 시스템으로 전송할 수 있습니다.
• awslogs: AWS CloudWatch Logs로 로그를 전송할 수 있습니다.

도커 로그 드라이버의 전체 목록과 자세한 설정 방법은 공식 문서에서 확인할 수 있습니다
 

Configure logging drivers

---

4. 로그 관리의 최적화

컨테이너가 오래 실행되면 로그 파일이 매우 커질 수 있기 때문에, 이를 방지하기 위한 적절한 로그 관리 전략이 필요합니다.

4-1. 로그 회전 설정

로그 파일의 크기를 제한하고 오래된 로그를 자동으로 삭제하는 로그 회전(log rotation) 기능을 설정할 수 있습니다. 예를 들어, 컨테이너 실행 시 --log-opt 옵션을 사용하여 로그 파일의 크기와 개수를 제한할 수 있습니다.

docker run --log-opt max-size=10m --log-opt max-file=3 <이미지>

위 설정은 최대 10MB 크기의 로그 파일 3개까지만 유지하며, 오래된 로그는 자동으로 삭제됩니다.

4-2. 외부 로그 시스템 연동

컨테이너 로그를 외부 시스템으로 전송하여 중앙 집중식으로 관리하는 방법도 효과적입니다. syslog, Fluentd, ELK Stack과 같은 로그 관리 시스템과 도커를 연동하면 로그 수집, 검색, 분석을 더 체계적으로 할 수 있습니다.

---

5. 도커 로그 분석 도구

로그는 그 자체로 중요한 데이터이지만, 로그의 양이 많아지면 이를 효과적으로 분석하는 것이 어려워질 수 있습니다. 이러한 경우, 로그 분석 도구를 사용하여 로그 데이터를 시각화하고 쉽게 검색할 수 있습니다.

5-1. ELK 스택 (Elasticsearch, Logstash, Kibana)

ELK 스택은 도커 로그를 수집하고, 저장하며, 시각화하는 데 자주 사용되는 도구입니다. Elasticsearch는 로그 데이터를 인덱싱하고 검색하는 역할을, Logstash는 로그 데이터를 수집하고 변환하는 역할을, Kibana는 이를 시각화하는 역할을 합니다.

5-1-1. Logstash 설정 예시

Logstash는 도커에서 발생한 로그를 수집하고 필터링하여 Elasticsearch로 전송할 수 있습니다. 예를 들어, 도커 소켓으로부터 로그를 수집하려면 다음과 같은 설정을 사용할 수 있습니다.

input {
  docker {
    endpoint => "unix:///var/run/docker.sock"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "docker-logs-%{+YYYY.MM.dd}"
  }
}

이 설정은 매일 새로운 인덱스를 생성하여 로그 데이터를 Elasticsearch에 저장하는 방식입니다.

---

6. 로깅을 위한 모니터링 도구

로그를 관리하는 것뿐만 아니라 로그에서 발생하는 문제를 실시간으로 탐지하고 해결하는 것도 중요합니다. 이를 위해 모니터링 도구를 함께 사용하는 것이 좋습니다.

6-1. Prometheus와 Grafana

Prometheus는 로그를 포함한 다양한 시스템 메트릭을 수집하고 경고를 설정할 수 있는 모니터링 도구입니다. 이를 통해 도커 로그에서 발생하는 특정 패턴이나 오류를 감지하여 알림을 설정할 수 있습니다.
Grafana는 Prometheus와 연동하여 시각화할 수 있으며, 로그 데이터를 기반으로 차트를 그리거나 대시보드를 생성할 수 있습니다.

---

7. 마무리

도커 환경에서의 로그 관리는 애플리케이션과 시스템의 상태를 파악하고 문제를 해결하는 데 중요한 역할을 합니다.
도커가 제공하는 기본 로그 관리 기능부터 외부 시스템과 연동한 중앙 집중식 로그 관리까지 다양한 방법을 사용할 수 있습니다.
 

다른 글 더보기

[Docker 강의 10편] Docker Registry

 

[Docker 강의 12편] 도커 컨테이너와 포트 포워딩

 

[Docker 강의 8편] Docker Compose 란?