리눅스 로그 감시 및 경고 시스템 구축, /var/log 모니터링과 logwatch·rsyslog·auditd 활용법

📂 /var/log 경로와 로그 파일 구조 이해

리눅스 시스템에서 /var/log 디렉터리는 운영체제와 서비스, 애플리케이션이 생성하는 각종 로그 파일의 집합소입니다.
여기에는 시스템 부팅 기록, 인증 시도, 커널 메시지, 네트워크 상태, 서비스 오류 등 다양한 정보가 시간 순서대로 기록됩니다.
이 경로를 이해하는 것은 로그 감시와 분석의 첫걸음이며, 보안 위협을 사전에 차단하는 기반이 됩니다.

대표적인 로그 파일로는 syslog(또는 messages), auth.log, dmesg, kern.log, 그리고 서비스별 로그 디렉터리(예: apache2, nginx)가 있습니다.
이 각각은 고유한 용도와 포맷을 가지며, 효율적인 로그 분석을 위해서는 어떤 이벤트가 어디에 기록되는지 숙지해야 합니다.

📌 주요 로그 파일과 역할

📌 로그 파일 관리와 보존 주기

로그는 시간이 지남에 따라 용량이 커지므로 logrotate와 같은 도구로 주기적인 압축·삭제를 설정해야 합니다.
보존 주기는 시스템 성격과 법적 요구 사항에 따라 다르며, 금융·의료 분야처럼 규제가 엄격한 경우 몇 년간 보관해야 할 수도 있습니다.
또한 로그 무결성을 위해 쓰기 권한을 제한하고, 필요 시 원격 서버에 백업하는 방식을 권장합니다.

🔍 logwatch로 로그 요약 및 분석 자동화

리눅스 서버를 장기간 운영하다 보면, 매일 수백~수천 건의 로그가 쌓이게 됩니다.
이 방대한 데이터를 사람이 직접 모두 검토하는 것은 사실상 불가능하죠.
logwatch는 이러한 문제를 해결해주는 강력한 로그 분석·요약 도구입니다.
시스템 로그를 읽고, 일간·주간 보고서를 이메일로 자동 발송해 주기 때문에 관리자의 업무 효율성을 크게 높여줍니다.

📌 logwatch 설치와 기본 설정

# Ubuntu/Debian 계열
sudo apt install logwatch

# CentOS/RHEL 계열
sudo yum install logwatch

설치 후에는 /usr/share/logwatch/default.conf/logwatch.conf 파일을 수정하여 보고서 범위, 출력 형식, 이메일 수신자 등을 지정할 수 있습니다.
또한 cron 작업에 등록해 매일 자동으로 실행되게 하면, 관리자는 아침마다 전날 로그 요약을 편하게 확인할 수 있습니다.

📌 logwatch 보고서 이해하기

logwatch 보고서는 날짜, 분석된 로그 범위, 요약된 이벤트 목록을 포함합니다.
예를 들어 SSH 로그인 시도, sudo 명령 사용 내역, 서비스 오류 발생 건수 등이 한눈에 보기 좋게 정리됩니다.
보고서를 통해 보안 위협을 조기에 파악하거나, 시스템 부하 및 서비스 상태를 쉽게 모니터링할 수 있습니다.

• 🛠️설치 후 config 파일 경로 확인
• ⚙️메일 수신자 및 주기 cron에 등록
• 🔍보고서의 보안 관련 이벤트 집중 분석

⚙️ rsyslog를 활용한 실시간 로그 전송과 필터링

리눅스 시스템에서 기본적으로 사용되는 rsyslog는 강력한 성능과 유연성을 가진 로그 처리 데몬입니다.
단순히 로그를 저장하는 데 그치지 않고, 특정 조건에 맞는 로그만 필터링하거나 원격 서버로 실시간 전송할 수 있습니다.
이를 통해 여러 대의 서버 로그를 중앙에서 관리하거나, 보안 분석 시스템(SIEM)과 연동하여 보안 수준을 강화할 수 있습니다.

📌 rsyslog 기본 설정과 로그 규칙

rsyslog 설정 파일은 주로 /etc/rsyslog.conf 또는 /etc/rsyslog.d/ 디렉터리에 위치합니다.
설정 문법을 이용하면 서비스, 심각도(severity), facility별로 로그를 분류할 수 있으며, 필요 없는 로그는 기록하지 않도록 필터링할 수 있습니다.

# 예: authpriv 관련 로그를 별도 파일에 저장
authpriv.*    /var/log/secure

# 예: cron 관련 로그는 별도 파일로
cron.*        /var/log/cron.log

📌 원격 로그 전송 설정

rsyslog를 활용하면 여러 서버의 로그를 한곳으로 모아 관리할 수 있습니다.
이는 보안 분석, 장애 대응, 감사(Audit) 목적으로 매우 유용합니다.
다음 예시는 TCP(포트 514)를 통해 로그를 원격 서버로 전송하는 방법입니다.

# 원격 서버로 로그 전송
*.*    @@192.168.0.100:514

• ⚙️서비스별 로그 필터링 규칙 작성
• 📡중앙 로그 서버로 실시간 전송 구성
• 🔒전송 시 TLS 암호화 적용

🛡️ auditd로 시스템 이벤트 및 보안 로그 추적

리눅스에서 auditd는 시스템 호출(System Call)과 보안 관련 이벤트를 추적하는 강력한 도구입니다.
파일 접근, 권한 변경, 인증 시도와 같은 보안 민감 활동을 실시간으로 기록하고, 필요 시 관리자에게 경고를 발송할 수 있습니다.
특히 서버 침입 탐지나 규제 준수(Compliance) 환경에서 필수적으로 사용됩니다.

📌 auditd 설치와 서비스 시작

# Ubuntu/Debian
sudo apt install auditd audispd-plugins

# CentOS/RHEL
sudo yum install audit

설치 후 systemctl enable –now auditd 명령으로 서비스를 활성화합니다.
이제 시스템의 중요한 활동이 /var/log/audit/audit.log에 기록됩니다.

📌 감사 규칙 설정 예시

auditd의 핵심은 규칙(rule) 설정입니다.
예를 들어 중요한 파일 접근을 모니터링하려면 다음과 같은 규칙을 추가할 수 있습니다.

# 시스템 파일 접근 추적 예시 
auditctl -w /var/tmp/sample.txt -p wa -k audit_example 

• 📝감시 대상 파일과 디렉터리 규칙 설정
• 📄로그 파일 /var/log/audit/audit.log 분석
• 📢이상 이벤트 발생 시 실시간 알림 연동

📢 이상 행동 감지 시 자동 경고 발송 구성

로그 수집과 분석이 끝났다면, 마지막 퍼즐은 이상 징후를 즉시 알리는 경고 체계입니다.
핵심은 탐지 규칙 → 트리거 → 알림 채널의 연결입니다.
rsyslog의 필터, auditd 규칙, 그리고 보조 도구(예: fail2ban, swatch)를 조합하면 메일, Slack/Teams, Webhook 등으로 경고를 보낼 수 있습니다.
아래 예시는 SSH 무차별 대입, sudo 남용, 핵심 파일 변조 같은 대표 사용례를 기준으로 안내합니다.

📌 rsyslog로 메일·웹훅 알림 트리거

rsyslog는 특정 패턴을 매칭해 외부 프로그램(omprog)이나 메일(ommail)로 보낼 수 있습니다.
다음은 SSH 실패 10회 이상 발생 시 알림을 트리거하는 간단한 파이프라인 예시입니다.

# /etc/rsyslog.d/50-ssh-alert.conf (예시)
module(load="ommail")
template(name="MailBody" type="string" string="ALERT: SSH 실패 다수 감지 - %hostname% %msg%\n")
if ($programname == "sshd" and $msg contains "Failed password") then {
    action(type="omfile" file="/var/log/ssh-failed.log")
}
# 간단 집계: 최근 5분간 10행 이상이면 메일
if (re_extract($now, ".*", 0) != "") then {
    action(type="omprog" binary="/usr/local/bin/throttle-ssh.sh")
}

위 예시의 throttle-ssh.sh는 최근 5분 카운트를 계산해 임계치를 넘길 때만 메일 또는 Webhook을 호출합니다.

#!/usr/bin/env bash
# /usr/local/bin/throttle-ssh.sh
LOG=/var/log/ssh-failed.log
COUNT=$(tail -n 200 "$LOG" | awk -v t=$(date -d "5 minutes ago" +"%b %e %H:%M") '$0 ~ t,0' | wc -l)
if [ "$COUNT" -ge 10 ]; then
  echo "SSH 실패 다수 발생: ${COUNT}" | mail -s "[알림] SSH 무차별 시도" admin@example.com
  curl -X POST -H "Content-type: application/json" \
    --data "{\"text\":\"SSH 실패 다수 발생: ${COUNT}\"}" \
    https://hooks.slack.com/services/TOKEN
fi

🧩 fail2ban으로 서비스별 자동 차단과 알림

fail2ban은 로그를 분석해 공격 IP를 자동 차단하고, 메일·Slack으로 알릴 수 있습니다.
SSH, nginx, Postfix 등 서비스별 jail을 활성화하면 방어와 경고를 동시에 처리합니다.

# /etc/fail2ban/jail.local (요약)
[sshd]
enabled = true
filter = sshd
logpath = /var/log/auth.log
maxretry = 5
bantime = 1h
action = %(action_mw)s  # 메일 알림 + whois 정보 포함

🔒 auditd 이벤트의 실시간 전달

중요 파일 변조, 권한 상승 시도를 auditd로 포착했다면, audispd 플러그인으로 즉시 전달합니다.
기본 audisp-syslog 또는 사용자 정의 플러그인 스크립트를 통해 메일·Webhook을 호출할 수 있습니다.

# /etc/audisp/plugins.d/exec-alert.conf (예시)
active = yes
direction = out
path = /usr/local/bin/audit-alert.sh
type = always
format = string

#!/usr/bin/env bash
# /usr/local/bin/audit-alert.sh
read INPUT
echo "$INPUT" | grep -E "passwd_changes|EXECVE|USER_AUTH" > /dev/null || exit 0
echo "auditd 경고: $INPUT" | mail -s "[알림] 중요 감사 이벤트" secops@example.com

🧪 테스트와 임계치 튜닝 체크리스트

• 🧰테스트 계정으로 의도적 실패를 발생시켜 알림 동작 확인
• ⏱️알림 지연 시간 측정 및 임계치(횟수·시간창) 조정
• 🔁중복 경고 억제(throttling)와 요약 보고 주기 설정
• 🔐메일 릴레이·Webhook URL을 비밀 변수로 보관

❓ 자주 묻는 질문 (FAQ)