파이썬 파일입출력과 struct로 구현하는 바이너리 레코드 파서 활용법

📂 파이썬 파일입출력의 기본 개념

파일 입출력은 데이터를 외부 저장소와 주고받는 과정으로, 프로그램이 단순히 메모리 안에서만 동작하지 않고 지속적인 데이터를 다룰 수 있게 해줍니다.
파이썬에서는 내장 함수 open()을 통해 손쉽게 파일을 열고, 읽고, 쓰고, 닫을 수 있습니다.
이때 중요한 점은 파일을 다 사용한 뒤 반드시 close()로 닫아줘야 리소스 누수가 발생하지 않는다는 것입니다.

파이썬은 편리하게도 with 구문을 제공하여 파일을 자동으로 닫아줍니다.
따라서 일반적으로 다음과 같은 방식을 가장 많이 활용합니다.

# 텍스트 파일 쓰기
with open("example.txt", "w", encoding="utf-8") as f:
    f.write("안녕하세요. 파일 입출력을 배우는 중입니다.")

# 텍스트 파일 읽기
with open("example.txt", "r", encoding="utf-8") as f:
    content = f.read()
    print(content)

파일을 열 때는 모드(mode)를 지정해야 합니다.
“r”은 읽기, “w”는 쓰기, “a”는 이어쓰기(append), “b”는 바이너리 모드를 의미합니다.
예를 들어 이미지 파일이나 실행 파일처럼 텍스트가 아닌 데이터를 다룰 때는 반드시 “rb” 또는 “wb”처럼 b 옵션을 함께 지정해야 합니다.

• 📌open()으로 파일 열기
• 📌모드(mode) 지정: r, w, a, b
• 📌with 구문을 사용해 안전하게 닫기

파일입출력은 단순한 문법 이상의 의미를 가집니다.
데이터베이스 백업, 로그 저장, 데이터 분석을 위한 전처리 등 실생활 프로그래밍에서 빠질 수 없는 기본기이기 때문에 반드시 숙지해 두는 것이 좋습니다.

📝 텍스트 파일과 바이너리 파일의 차이

프로그래밍에서 다루는 파일은 크게 텍스트 파일과 바이너리 파일로 구분됩니다.
텍스트 파일은 사람이 읽을 수 있는 문자로 이루어진 데이터이며, 일반적으로 UTF-8이나 ASCII 같은 인코딩을 사용합니다.
예를 들어 .txt, .csv, .json 같은 파일이 이에 해당합니다.

반면 바이너리 파일은 사람이 직접 읽기 어려운 0과 1의 집합으로 구성되어 있으며, 특정한 구조와 규칙에 따라 해석해야 의미 있는 데이터로 변환할 수 있습니다.
이미지(.png, .jpg), 동영상(.mp4), 실행 파일(.exe), 그리고 장치에서 수집되는 로그 데이터 등이 대표적인 예입니다.

🔎 텍스트 파일의 특징

텍스트 파일은 일반적인 문자열 처리 함수로 쉽게 다룰 수 있습니다.
탐색이나 수정이 간단하고, 다양한 프로그래밍 언어에서 호환성이 뛰어납니다.
하지만 데이터 용량이 크거나 구조화된 정보를 저장하기에는 비효율적일 수 있습니다.

💾 바이너리 파일의 특징

바이너리 파일은 저장 공간을 절약할 수 있고, 속도가 빠르며, 구조적으로 데이터를 효율적으로 다룰 수 있습니다.
예를 들어 이미지의 픽셀 정보, 오디오의 샘플 데이터, 데이터베이스의 내부 저장 구조 등이 모두 바이너리 형태입니다.
하지만 이러한 파일은 반드시 올바른 파서(parser)나 해석 규칙을 통해 읽어야 의미 있는 데이터로 변환할 수 있습니다.

따라서 단순히 텍스트 저장 용도라면 텍스트 파일을, 구조적이고 대용량 데이터를 다뤄야 한다면 바이너리 파일을 선택하는 것이 좋습니다.
그리고 바이너리 파일을 다룰 때는 struct 모듈을 통해 정해진 구조에 따라 안전하게 파싱하는 것이 핵심입니다.

⚙️ struct 모듈의 핵심 기능 이해

파이썬의 struct 모듈은 C 언어의 구조체처럼 데이터를 특정한 이진 형식으로 변환하거나, 반대로 이진 데이터를 해석할 때 사용됩니다.
즉, 문자열이나 숫자와 같은 파이썬 객체를 바이트 단위로 패킹(pack)하거나 언패킹(unpack)하여 바이너리 파일과 주고받을 수 있도록 해주는 도구입니다.

이 모듈의 핵심 함수는 크게 두 가지입니다.
struct.pack()은 데이터를 특정한 형식 문자열(format string)에 맞게 바이트 시퀀스로 변환합니다.
반대로 struct.unpack()은 바이트 시퀀스를 다시 원래의 파이썬 데이터로 변환해 줍니다.

📑 주요 형식 문자 (Format Specifiers)

struct 모듈은 다양한 데이터 타입을 다룰 수 있도록 여러 가지 형식 문자를 제공합니다.
자주 사용되는 것들은 다음과 같습니다.

💡 pack과 unpack 예제

import struct

# 정수와 실수를 pack하여 바이트로 변환
data = struct.pack("if", 42, 3.14)
print(data)  # b'*\x00\x00\x00\xc3\xf5H@'

# 다시 unpack하여 원래 데이터로 복원
num, pi = struct.unpack("if", data)
print(num, pi)  # 42 3.140000104904175

이처럼 struct 모듈은 복잡한 바이너리 데이터를 읽고 쓸 때 필수적인 도구입니다.
특히 네트워크 프로토콜, 이미지 헤더, 센서 데이터처럼 고정된 형식을 가진 파일을 다룰 때 매우 유용합니다.

🔍 헤더+본문 구조의 바이너리 레코드 설계

많은 바이너리 파일은 단순한 데이터 덩어리가 아니라, 헤더(Header)와 본문(Body) 구조를 가지고 있습니다.
헤더는 파일 전체의 메타데이터(버전, 데이터 길이, 포맷 등)를 포함하고, 본문은 실제 데이터를 저장하는 역할을 합니다.
이러한 구조는 파일을 체계적으로 관리하고, 프로그램이 데이터를 효율적으로 해석할 수 있도록 도와줍니다.

📑 헤더의 역할

헤더에는 파일을 읽는 데 필요한 다양한 정보가 들어갑니다.
예를 들어 이미지 파일의 경우 가로, 세로 크기, 색상 정보, 압축 방식 등이 헤더에 포함됩니다.
헤더가 없다면 프로그램은 파일 내부 데이터를 어떻게 해석해야 할지 알 수 없습니다.

📦 본문의 역할

본문은 실제 데이터가 기록되는 영역입니다.
예를 들어 센서 로그라면 시간과 측정값들이 본문에 기록됩니다.
데이터가 길이에 따라 달라질 수 있으므로, 보통 헤더에는 본문의 길이가 기록되어 있습니다.
이 덕분에 프로그램은 필요할 때 정확한 크기만큼 데이터를 읽어 들일 수 있습니다.

# 헤더+본문 구조 예시 설계
# [헤더] : (int) 버전, (int) 본문 길이
# [본문] : 문자열 데이터

import struct

version = 1
body = "Hello Binary World!".encode("utf-8")
body_len = len(body)

# 헤더 생성 (버전, 본문 길이)
header = struct.pack("ii", version, body_len)
record = header + body

이처럼 헤더+본문 구조를 이해하면 단순히 데이터를 저장하는 수준을 넘어, 다양한 파일 포맷을 직접 설계하거나 분석할 수 있습니다.
다음 단계에서는 실제로 struct 모듈을 사용해 이러한 구조를 읽고 쓰는 파서를 구현하는 방법을 다뤄보겠습니다.

💻 struct를 이용한 파이썬 파서 구현 예제

앞에서 살펴본 헤더+본문 구조를 실제로 구현해 보겠습니다.
이번 예제에서는 struct 모듈을 활용하여 바이너리 데이터를 기록하고 다시 읽어 들이는 파서를 작성합니다.
이 과정을 통해 파일을 쓰고 읽는 기본 로직과 struct의 실전 활용법을 동시에 익힐 수 있습니다.

🛠️ 바이너리 파일 쓰기

import struct

# 기록할 데이터
version = 1
body = "파이썬 struct 모듈로 만든 바이너리 데이터".encode("utf-8")
body_len = len(body)

# 헤더 생성 (버전, 본문 길이)
header = struct.pack("ii", version, body_len)

# 파일에 저장
with open("record.bin", "wb") as f:
    f.write(header)
    f.write(body)

위 코드는 record.bin 파일에 헤더와 본문을 기록합니다.
버전과 본문 길이가 먼저 저장되고, 이후 실제 데이터가 이어 붙여지는 구조입니다.

📖 바이너리 파일 읽기

with open("record.bin", "rb") as f:
    # 헤더(정수 2개) 읽기
    header_data = f.read(8)
    version, body_len = struct.unpack("ii", header_data)

    # 본문 읽기
    body_data = f.read(body_len)
    body_text = body_data.decode("utf-8")

print("버전:", version)
print("본문 길이:", body_len)
print("본문 내용:", body_text)

위 코드를 실행하면 저장된 record.bin 파일에서 헤더를 읽어 버전과 본문 길이를 확인한 뒤, 해당 길이만큼 데이터를 읽어와 UTF-8로 복원합니다.
이렇게 하면 원래 기록했던 문자열을 다시 얻을 수 있습니다.

이 예제를 통해 struct를 활용한 파서의 기본 원리를 이해할 수 있습니다.
이를 응용하면 네트워크 패킷 분석, 로그 파일 처리, 사용자 정의 포맷 저장 등 다양한 분야에서 활용할 수 있습니다.

❓ 자주 묻는 질문 (FAQ)