WinAPI 메모리 맵 파일로 구현하는 빠른 파일 I/O와 데이터 공유

💡 메모리 맵 파일이란?

메모리 맵 파일(Memory-Mapped File)은 운영체제가 파일의 내용을 메모리에 직접 매핑하여, 디스크 접근 없이도 데이터를 읽고 쓸 수 있게 해주는 기능입니다.
이 방식은 파일의 특정 부분을 메모리처럼 다룰 수 있어, 기존의 ReadFile이나 WriteFile API보다 훨씬 빠른 입출력을 제공합니다.
또한 동일한 매핑 객체를 여러 프로세스에서 열면, 복사 없이 데이터를 공유할 수 있어 IPC(프로세스 간 통신)에서도 자주 활용됩니다.

윈도우에서는 CreateFileMapping과 MapViewOfFile 함수를 사용하여 메모리 매핑을 구현합니다.
이때 파일이 실제로 전부 메모리에 로드되는 것은 아니며, 필요한 페이지가 접근될 때마다 운영체제가 자동으로 로드하는 방식(지연 로딩)을 사용합니다.
덕분에 파일이 매우 크더라도 메모리 사용량을 효율적으로 관리할 수 있습니다.

📌 주요 특징

• ⚡디스크 I/O 최소화로 인한 고속 데이터 접근
• 🔗여러 프로세스 간 데이터 공유 가능
• 📂대용량 파일도 부분 매핑으로 메모리 절약
• 🛠️WinAPI의 CreateFileMapping 및 MapViewOfFile로 구현

📌 기본 동작 원리

1. 먼저 파일을 열고, CreateFileMapping을 호출하여 매핑 객체를 생성합니다.
2. MapViewOfFile을 사용하여 해당 매핑 객체를 프로세스의 가상 메모리 주소 공간에 연결합니다.
3. 매핑된 주소를 통해 데이터를 읽거나 쓰면, 운영체제가 자동으로 파일의 해당 부분을 디스크에서 메모리로 가져오거나 반대로 디스크에 기록합니다.

HANDLE hFile = CreateFile(L"data.bin", GENERIC_READ | GENERIC_WRITE, 
    0, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);

HANDLE hMap = CreateFileMapping(hFile, NULL, PAGE_READWRITE, 0, 0, NULL);

LPVOID pView = MapViewOfFile(hMap, FILE_MAP_ALL_ACCESS, 0, 0, 0);

// 메모리에 매핑된 데이터 사용
strcpy((char*)pView, "Hello Memory Mapped File!");

UnmapViewOfFile(pView);
CloseHandle(hMap);
CloseHandle(hFile);

⚙️ WinAPI에서의 메모리 매핑 방식

윈도우에서 메모리 맵 파일을 구현하려면 크게 두 가지 방식이 있습니다.
첫째는 디스크 기반 매핑이고, 둘째는 페이지 파일 기반 매핑입니다.
디스크 기반 매핑은 실제 파일과 연결되어 데이터가 지속되며, 페이지 파일 기반 매핑은 물리적인 파일 없이도 RAM 상에서만 데이터를 공유할 수 있습니다.
이 차이를 이해하면, 상황에 맞는 최적의 매핑 방식을 선택할 수 있습니다.

📌 디스크 기반 매핑

디스크 기반 매핑은 CreateFile로 파일을 연 뒤, CreateFileMapping을 호출해 해당 파일을 메모리에 매핑합니다.
이 방식은 파일이 실제 디스크에 존재하므로, 프로그램 종료 후에도 데이터가 유지됩니다.
대용량 로그 파일 처리나 미디어 파일 접근에 적합합니다.

📌 페이지 파일 기반 매핑

페이지 파일 기반 매핑은 CreateFileMapping 호출 시 파일 핸들을 INVALID_HANDLE_VALUE로 지정하여 생성합니다.
이는 실제 디스크 파일 없이 운영체제의 가상 메모리 공간을 활용하는 방식으로, 주로 IPC나 임시 데이터 저장소로 사용됩니다.
프로그램이 종료되면 데이터는 사라집니다.

📌 구현 흐름

🚀 빠른 I/O 구현 방법

메모리 맵 파일은 파일을 메모리에 직접 매핑해 커널 페이지 캐시를 통해 접근하므로, 일반적인 ReadFile 및 WriteFile 호출보다 캐시 적중 시 지연이 훨씬 낮습니다.
효율을 극대화하려면 적절한 접근 권한과 뷰 크기, 정렬, 플러시 전략을 세밀하게 조정해야 합니다.
또한 시스템 페이지 크기와 할당 단위(Allocation Granularity)에 맞춰 오프셋을 정렬하면 페이지 폴트 수를 줄이고, 필요 범위만 부분 매핑하여 메모리 압력을 낮출 수 있습니다.

⚡ 성능을 위한 핵심 파라미터

1) 보호 플래그와 접근 권한을 최소화합니다.
읽기 전용이라면 PAGE_READONLY와 FILE_MAP_READ 조합이 불필요한 쓰기 권한 대비 더 안전하고 가볍습니다.
2) 큰 파일은 전체 매핑보다 슬라이딩 윈도우(부분 뷰)로 나눠 매핑합니다.
3) 쓰기 시에는 FlushViewOfFile과 FlushFileBuffers를 적절히 호출해 내구성을 보장하되, 지나친 플러시는 역효과입니다.
4) 순차 접근과 랜덤 접근 패턴을 구분하여 뷰 크기와 접근 단위를 조정하면 TLB 및 캐시 효율을 높일 수 있습니다.

🧩 기본 구현 예시

// 빠른 읽기/쓰기용 메모리 맵 파일 (부분 매핑, 슬라이딩 윈도우)
SYSTEM_INFO si = {0};
GetSystemInfo(&si); // si.dwAllocationGranularity 확인

HANDLE hFile = CreateFileW(L"bigdata.bin",
    GENERIC_READ | GENERIC_WRITE, FILE_SHARE_READ | FILE_SHARE_WRITE,
    NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);

LARGE_INTEGER fileSize = {0};
GetFileSizeEx(hFile, &fileSize);

// 매핑 객체 생성 (읽기/쓰기)
HANDLE hMap = CreateFileMappingW(hFile, NULL, PAGE_READWRITE,
    0, 0, NULL);

// 오프셋은 Allocation Granularity 배수로 정렬
SIZE_T viewSize = 64 * 1024 * 1024; // 64MB 창
ULONGLONG offset = 0;

while (offset < (ULONGLONG)fileSize.QuadPart) {
    ULONGLONG aligned = (offset / si.dwAllocationGranularity) * si.dwAllocationGranularity;
    SIZE_T delta = (SIZE_T)(offset - aligned);
    SIZE_T thisView = min(viewSize + delta, (SIZE_T)((ULONGLONG)fileSize.QuadPart - aligned));

    DWORD offHigh = (DWORD)((aligned >> 32) & 0xFFFFFFFF);
    DWORD offLow  = (DWORD)(aligned & 0xFFFFFFFF);

    LPVOID pView = MapViewOfFile(hMap, FILE_MAP_ALL_ACCESS, offHigh, offLow, thisView);

    BYTE* p = (BYTE*)pView + delta;
    // 예: p부터 length 바이트 처리 (읽기/쓰기)
    // memcpy(p, src, length); // 쓰기 예시

    // 필요 시 디스크에 플러시 (너무 자주 호출하지 않기)
    // FlushViewOfFile(p, length);

    UnmapViewOfFile(pView);
    offset += viewSize;
}

FlushFileBuffers(hFile);
CloseHandle(hMap);
CloseHandle(hFile);

🛠️ 체크리스트

• 🧭GetSystemInfo로 페이지 크기·할당 단위 확인 후 오프셋 정렬
• 🔒필요 권한만 부여: PAGE_READONLY + FILE_MAP_READ 또는 PAGE_READWRITE + FILE_MAP_WRITE
• 🧰대용량은 전체 매핑 대신 부분 뷰로 슬라이딩 처리
• 💾내구성 필요 시 FlushViewOfFile → FlushFileBuffers 순으로 플러시
• 📐랜덤/순차 접근 패턴에 맞춰 뷰 크기와 처리 단위 조정

🔗 프로세스 간 데이터 공유

메모리 맵 파일은 단일 프로세스 내 빠른 I/O뿐 아니라, 서로 다른 프로세스 간에도 데이터를 공유할 수 있는 강력한 기능을 제공합니다.
같은 이름의 매핑 객체를 여러 프로세스에서 열면, 운영체제는 동일한 물리 메모리 영역을 참조하게 하여 복사 없이 데이터를 주고받을 수 있습니다.
이 덕분에 소켓이나 파이프 없이도 대용량 데이터를 실시간으로 전달할 수 있어 IPC(Inter-Process Communication)에서 자주 활용됩니다.

📌 동작 방식

1) 첫 번째 프로세스에서 CreateFileMapping으로 이름이 지정된 매핑 객체를 생성합니다.
2) 다른 프로세스는 OpenFileMapping을 호출하여 동일한 이름의 매핑 객체를 엽니다.
3) 두 프로세스 모두 MapViewOfFile로 해당 매핑을 가상 메모리에 연결합니다.
4) 한 쪽에서 데이터를 쓰면, 다른 쪽에서 즉시 변경 내용을 확인할 수 있습니다.

// 프로세스 A - 생성
HANDLE hMap = CreateFileMappingW(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 
    0, 1024, L"MySharedMemory");
LPVOID pView = MapViewOfFile(hMap, FILE_MAP_ALL_ACCESS, 0, 0, 0);
strcpy((char*)pView, "Hello from Process A");

// 프로세스 B - 열기
HANDLE hMapB = OpenFileMappingW(FILE_MAP_ALL_ACCESS, FALSE, L"MySharedMemory");
LPVOID pViewB = MapViewOfFile(hMapB, FILE_MAP_ALL_ACCESS, 0, 0, 0);
printf("%s", (char*)pViewB); // "Hello from Process A"

⚡ 장점과 활용 예

• 🚀소켓·파이프보다 낮은 지연시간과 높은 대역폭
• 📂대규모 데이터 버퍼 공유(이미지, 비디오 프레임 등)
• 🧩프로세스 간 상태 정보·메타데이터 교환

🛠️ 실무 활용 사례와 주의사항

메모리 맵 파일은 단순한 예제 코드를 넘어, 실무에서도 다양한 시나리오에서 활용됩니다.
대규모 로그 분석, 고속 이미지 처리, 데이터베이스 엔진의 버퍼 캐시, 게임 클라이언트의 리소스 로딩, 그리고 동영상 편집 소프트웨어의 타임라인 버퍼까지 폭넓게 쓰입니다.
실시간성이 중요한 금융·통신 분야에서는 대규모 데이터 스트림을 지연 없이 전달하기 위해서도 활용됩니다.

📌 실무 활용 예

• 📂데이터베이스 인덱스 페이지를 매핑하여 초고속 검색 구현
• 🎮게임 리소스(텍스처·사운드) 로딩 최적화
• 🖼️이미지·영상 편집 시 대용량 버퍼 공유
• 📡실시간 데이터 피드 처리(금융 시세, 센서 데이터)

⚠️ 사용 시 주의사항

• 🔒프로세스 간 공유 시 동기화 메커니즘 필수
• 🛡️보안 권한 설정으로 무단 접근 차단
• 📏Allocation Granularity에 맞춘 오프셋 정렬
• 📉불필요한 전체 매핑은 메모리 부족과 페이지 폴트를 유발

💡 성능 유지 팁

❓ 자주 묻는 질문 (FAQ)