WinAPI 대화상자(Dialog) 생성, 모달과 모델리스 구현 방법 총정리

💡 대화상자(Dialog)의 기본 개념

대화상자(Dialog)는 사용자가 프로그램과 상호작용할 수 있도록 입력 필드, 버튼, 체크박스 등의 UI 요소를 모아 놓은 창입니다.
WinAPI 환경에서는 대화상자가 주로 정보를 표시하거나 데이터를 입력받는 용도로 활용되며, 특정 이벤트나 명령을 수행하는 데 핵심적인 역할을 합니다.
특히, 메인 윈도우와 별도로 동작하면서도 사용자의 집중을 유도할 수 있는 UI 구성 요소로 많이 사용됩니다.

대화상자는 크게 모달(Modal)과 모델리스(Modeless)로 나뉩니다.
모달 대화상자는 닫을 때까지 다른 창의 작업을 막아, 사용자로 하여금 해당 창에만 집중하게 합니다.
반면 모델리스 대화상자는 열려 있는 동안에도 다른 창과 자유롭게 오가며 작업할 수 있어 유연한 사용자 경험을 제공합니다.
이러한 특성 덕분에, 모달은 중요한 결정이나 필수 입력이 필요할 때, 모델리스는 보조 기능을 제공할 때 주로 사용됩니다.

• 🪟모달 대화상자는 닫기 전까지 다른 작업 차단
• 🔄모델리스 대화상자는 여러 창을 동시에 제어 가능
• 📋입력폼, 메시지창, 설정창 등 다양한 형태로 구현 가능

WinAPI에서는 이러한 대화상자를 만들기 위해 리소스 파일(.rc)과 다이얼로그 템플릿을 활용하며, 런타임 시 DialogBox나 CreateDialog 함수를 호출해 표시합니다.
대화상자가 실행되면 메시지 루프를 통해 사용자 입력을 처리하고, EndDialog나 DestroyWindow 함수로 종료할 수 있습니다.
이러한 구조를 이해하면 이후 단계에서 구체적인 구현 방법을 배우는 데 큰 도움이 됩니다.

🛠️ DialogBox를 이용한 모달 대화상자

모달 대화상자는 사용자가 해당 창을 닫기 전까지 다른 창에서 작업할 수 없도록 제한하는 방식입니다.
WinAPI에서는 DialogBox 함수를 사용하여 쉽게 모달 대화상자를 구현할 수 있습니다.
이 함수는 대화상자가 닫힐 때까지 제어권을 해당 대화상자에 넘기고, 종료 후에야 호출한 함수로 복귀합니다.
이 덕분에 중요한 결정, 필수 입력, 경고 메시지 표시 등에 적합합니다.

DialogBox는 리소스 파일(.rc)에 정의된 다이얼로그 템플릿과 콜백 함수(다이얼로그 프로시저)를 기반으로 동작합니다.
대화상자 내부의 버튼 클릭, 텍스트 입력 등 모든 이벤트는 DialogProc을 통해 처리됩니다.
사용자가 [확인] 또는 [취소] 버튼을 클릭하면, EndDialog로 대화상자를 닫고 해당 값이 호출한 함수로 반환됩니다.

// 모달 대화상자 실행 예제
INT_PTR result = DialogBox(
    hInstance,               // 애플리케이션 인스턴스
    MAKEINTRESOURCE(IDD_MYDIALOG), // 리소스 ID
    hWndParent,              // 부모 윈도우 핸들
    DialogProc               // 대화상자 프로시저
);

if (result == IDOK) {
    // 확인 버튼 처리
} else if (result == IDCANCEL) {
    // 취소 버튼 처리
}

또한, DialogBox는 내부적으로 자체 메시지 루프를 돌리기 때문에, 개발자가 별도의 메시지 루프를 구현할 필요가 없습니다.
이 점은 코드 단순화에 큰 장점이지만, 동시에 대화상자 닫기 전까지 메인 윈도우와의 상호작용이 제한되므로 UI 설계 단계에서 신중한 판단이 필요합니다.

⚙️ CreateDialog로 모델리스 대화상자 구현

모델리스 대화상자는 열려 있는 동안에도 메인 윈도우와 상호작용이 가능한 창입니다.
사용자는 대화상자를 띄운 채로 다른 메뉴를 클릭하거나, 메인 뷰에서 작업을 이어갈 수 있습니다.
WinAPI에서는 CreateDialog 또는 CreateDialogParam을 사용해 모델리스 대화상자를 생성하고, 개발자가 직접 메시지 루프에서 IsDialogMessage로 키보드 탐색과 단축키 처리를 위임합니다.
종료 시에는 DestroyWindow로만 닫아야 하며, 모달 전용인 EndDialog를 호출하면 예상치 못한 동작을 유발할 수 있습니다.

🧩 모델리스 생성과 표시 흐름

// 모델리스 대화상자 생성
HWND hDlg = CreateDialog(
    hInstance,                         // 인스턴스
    MAKEINTRESOURCE(IDD_MYDIALOG),     // 리소스 ID
    hWndParent,                        // 부모 윈도우
    DialogProc                         // 대화상자 프로시저
);

// 표시
ShowWindow(hDlg, SW_SHOW);

// 메시지 루프에서 IsDialogMessage 사용
MSG msg;
while (GetMessage(&msg, nullptr, 0, 0)) {
    if (!IsDialogMessage(hDlg, &msg)) {
        TranslateMessage(&msg);
        DispatchMessage(&msg);
    }
}

⌨️ 키보드 포커스와 단축키 처리

모델리스 환경에서는 탭 이동, 기본 버튼(Enter), 취소 버튼(Esc) 같은 키보드 내비게이션을 시스템이 자동 처리하지 않습니다.
따라서 메시지 루프에서 IsDialogMessage를 호출해 대화상자가 포커스를 가질 때 올바르게 키 입력을 해석하도록 해야 합니다.
여러 개의 모델리스를 동시에 운용한다면, 현재 표시된 각 대화상자에 대해 IsDialogMessage를 순차 호출하거나, 컬렉션을 순회하는 방식으로 처리하면 안정적입니다.

• 🧭CreateDialog로 생성 후 ShowWindow로 표시합니다.
• 🔁메시지 루프에서 IsDialogMessage를 호출해 키보드 탐색을 지원합니다.
• 🧹닫을 때는 DestroyWindow를 사용하여 리소스를 해제합니다.

🧰 대화상자 프로시저에서의 종료 처리

INT_PTR CALLBACK DialogProc(HWND hDlg, UINT uMsg, WPARAM wParam, LPARAM lParam) {
    switch (uMsg) {
    case WM_COMMAND:
        switch (LOWORD(wParam)) {
        case IDOK:
        case IDCANCEL:
            DestroyWindow(hDlg); // 모델리스는 DestroyWindow
            return TRUE;
        }
        break;
    case WM_CLOSE:
        DestroyWindow(hDlg);
        return TRUE;
    }
    return FALSE;
}

🔌 EndDialog와 DestroyWindow의 차이

WinAPI에서 대화상자를 닫는 방식은 대화상자의 성격에 따라 달라집니다.
모달 대화상자는 자체 메시지 루프를 돌리는 DialogBox 계열로 띄우며, 종료는 EndDialog가 전담합니다.
반면 모델리스 대화상자는 애플리케이션의 일반 메시지 루프에 의존하며, 종료는 DestroyWindow를 사용합니다.
이 둘을 혼동하면 반환값이 전달되지 않거나, 포커스와 액셀러레이터 처리에 문제가 생길 수 있어 안정성에 치명적입니다.

✅ 언제 EndDialog, 언제 DestroyWindow?

🧪 올바른 종료 코드 패턴

// [모달] EndDialog 사용 예
INT_PTR CALLBACK ModalProc(HWND hDlg, UINT uMsg, WPARAM wParam, LPARAM lParam) {
    switch (uMsg) {
    case WM_COMMAND:
        switch (LOWORD(wParam)) {
        case IDOK:
            EndDialog(hDlg, IDOK);   // 호출자에게 IDOK 반환
            return TRUE;
        case IDCANCEL:
            EndDialog(hDlg, IDCANCEL);
            return TRUE;
        }
        break;
    case WM_CLOSE:
        EndDialog(hDlg, IDCANCEL);
        return TRUE;
    }
    return FALSE;
}

// [모델리스] DestroyWindow 사용 예
INT_PTR CALLBACK ModelessProc(HWND hDlg, UINT uMsg, WPARAM wParam, LPARAM lParam) {
    switch (uMsg) {
    case WM_COMMAND:
        switch (LOWORD(wParam)) {
        case IDOK:
        case IDCANCEL:
            DestroyWindow(hDlg);     // 핸들 파괴, 리턴값 개념 없음
            return TRUE;
        }
        break;
    case WM_CLOSE:
        DestroyWindow(hDlg);
        return TRUE;
    }
    return FALSE;
}

• 🔒모달이라면 EndDialog로 종료하고, 반환 코드를 명확히 지정합니다.
• 🪟모델리스라면 DestroyWindow로 리소스를 해제합니다.
• 🧭모델리스에서는 메시지 루프에서 IsDialogMessage를 호출해 키보드 내비게이션을 유지합니다.

📜 WinAPI 대화상자 구현 시 유용한 팁

실무에서 대화상자를 안정적으로 운용하려면, 생성 방식뿐 아니라 포커스, 데이터 바인딩, 국제화, 레이아웃 등 세부 설계를 꼼꼼히 챙겨야 합니다.
모달과 모델리스의 종료 방식 구분은 기본이고, 메시지 루프와 키보드 내비게이션, 리소스 관리 정책까지 함께 정리해 두면 유지보수가 쉬워집니다.
아래 팁들을 체크하면 초기 품질을 빠르게 끌어올릴 수 있습니다.

🧭 포커스와 초기화 규칙

WM_INITDIALOG에서 초기 상태를 구성하고 기본 포커스를 어디에 둘지 결정합니다.
시스템이 첫 번째 컨트롤에 자동 포커스를 주도록 하려면 TRUE를 반환합니다.
직접 SetFocus를 호출했다면 FALSE를 반환해야 중복 포커스 설정을 피할 수 있습니다.
일반 메시지에서는 처리했다면 TRUE, 처리하지 않았다면 FALSE를 반환하는 패턴을 유지하세요.

// 공통 DialogProc 포커스 패턴
INT_PTR CALLBACK DialogProc(HWND hDlg, UINT uMsg, WPARAM wParam, LPARAM lParam) {
    switch (uMsg) {
    case WM_INITDIALOG:
        SetDlgItemText(hDlg, IDC_EDIT_NAME, L"");
        // 자동 포커스 사용: TRUE 반환 (SetFocus를 직접 호출했다면 FALSE)
        return TRUE;
    case WM_COMMAND:
        switch (LOWORD(wParam)) {
        case IDOK:
            // 모달이면 EndDialog(hDlg, IDOK);
            // 모델리스면 DestroyWindow(hDlg);
            return TRUE;
        case IDCANCEL:
            // 모달/모델리스에 맞는 종료 호출
            return TRUE;
        }
        break;
    }
    return FALSE;
}

🧱 데이터 바인딩과 검증

텍스트, 숫자 입력은 GetDlgItemText, SetDlgItemText, GetDlgItemInt 등으로 주고받습니다.
필수 입력은 확인 버튼(IDOK) 처리 전에 유효성 검사를 수행하고, 실패 시 MessageBox로 안내 후 해당 컨트롤에 SetFocus를 주어 재입력을 유도하면 UX가 좋아집니다.
라디오버튼/체크박스는 IsDlgButtonChecked, CheckDlgButton으로 상태를 관리하세요.

• 🧩GetDlgItem으로 컨트롤 핸들을 캐시해 반복 호출 비용을 줄입니다.
• 🧼입력 검증 실패 시 SetFocus와 안내 메시지로 즉시 수정 흐름을 제공합니다.
• 🧷모달은 EndDialog 반환코드를 통해 결과를 전달합니다.

🌍 글꼴, DPI, 국제화

리소스 템플릿에 DS_SETFONT 또는 DS_SHELLFONT를 지정하면 시스템 글꼴과 크기를 일관되게 적용할 수 있습니다.
현대 윈도우 환경에서는 고DPI 스케일링을 고려해 컨트롤 간 여백을 넉넉히 잡고, 픽셀 고정보다는 대화상자 단위(DLU) 배치가 안전합니다.
문자열은 유니코드 빌드를 기본으로 하고, API는 DialogBoxParamW, CreateDialogParamW 같은 Wide 버전을 사용하세요.

🪟 레이아웃과 중앙 배치

대화상자를 화면 또는 부모 중앙에 배치하면 사용성이 좋아집니다.
표준 API가 따로 없으므로 GetWindowRect와 SetWindowPos를 이용해 간단히 구현할 수 있습니다.

void CenterToParent(HWND hDlg) {
    RECT rcDlg{}, rcPar{};
    HWND hPar = GetParent(hDlg);
    GetWindowRect(hDlg, &rcDlg);
    if (hPar) GetWindowRect(hPar, &rcPar);
    else SystemParametersInfo(SPI_GETWORKAREA, 0, &rcPar, 0);

    int dlgW = rcDlg.right - rcDlg.left;
    int dlgH = rcDlg.bottom - rcDlg.top;
    int x = rcPar.left + ((rcPar.right - rcPar.left) - dlgW) / 2;
    int y = rcPar.top  + ((rcPar.bottom - rcPar.top) - dlgH) / 2;

    SetWindowPos(hDlg, nullptr, x, y, 0, 0, SWP_NOSIZE | SWP_NOZORDER);
}

❓ 자주 묻는 질문 (FAQ)