파이썬 소켓 프로그래밍 selectors로 select poll epoll kqueue 완전 이해하기

🔗 소켓 프로그래밍과 이벤트 처리의 기본

네트워크 통신을 구현할 때 가장 핵심이 되는 요소는 바로 소켓(Socket)입니다.
소켓은 애플리케이션이 네트워크를 통해 데이터를 주고받을 수 있도록 운영체제가 제공하는 인터페이스 역할을 합니다.
클라이언트와 서버가 데이터를 주고받기 위해서는 소켓을 생성하고, 연결을 맺고, 데이터를 송수신하는 과정을 거치게 되죠.

하지만 단일 연결만 처리하는 상황이라면 비교적 단순하겠지만, 실제 서비스 환경에서는 수많은 클라이언트가 동시에 접속하게 됩니다.
이럴 때 모든 연결을 순차적으로 처리한다면, 특정 클라이언트가 데이터를 보내지 않는 동안 서버는 대기 상태에 빠지고 전체 응답성이 떨어지게 됩니다.
따라서 여러 연결에서 발생하는 이벤트를 효율적으로 감시하고 처리하는 방법이 필요합니다.

📌 블로킹 vs 논블로킹 소켓

기본적으로 소켓은 블로킹 모드로 동작합니다.
즉, 데이터를 받을 준비가 안 된 상태에서 recv()를 호출하면 프로그램은 데이터가 들어올 때까지 멈춰버립니다.
이 방식은 간단하지만 동시에 많은 연결을 처리하기에는 한계가 있습니다.

반대로 논블로킹 모드에서는 소켓 호출이 즉시 반환되며, 데이터가 준비되지 않았다면 “지금은 읽을 수 없음” 같은 신호를 돌려줍니다.
이 덕분에 서버는 여러 연결을 동시에 관리할 수 있으며, 적절한 이벤트 처리 메커니즘을 활용해 고성능 네트워크 프로그래밍을 구현할 수 있습니다.

📌 이벤트 기반 처리의 필요성

이벤트 기반 모델에서는 소켓에 읽기, 쓰기, 연결 요청과 같은 이벤트가 발생할 때마다 운영체제가 알려주고, 애플리케이션은 해당 이벤트에 맞는 처리를 실행합니다.
이 방식은 효율적으로 동작할 뿐만 아니라, 동시에 수천 개의 연결도 관리할 수 있습니다.
대표적인 이벤트 감시 방식으로는 select, poll, epoll, kqueue 등이 있으며, 파이썬에서는 이를 통합적으로 다루는 selectors 모듈을 통해 쉽게 사용할 수 있습니다.

🛠️ select와 poll 방식의 차이점

이벤트 기반 네트워크 프로그래밍의 가장 기초적인 방식은 select입니다.
select는 오래된 API로서, 여러 소켓을 동시에 감시할 수 있도록 비트마스크를 활용합니다.
특정 소켓에서 읽기, 쓰기, 예외 상황이 발생했는지를 확인하고, 준비된 소켓 목록을 반환합니다.

하지만 select에는 단점도 존재합니다.
첫째, 감시할 수 있는 소켓 수에 FD_SETSIZE라는 제한이 있어 수천 개 이상의 연결을 동시에 관리하기 어렵습니다.
둘째, 호출 시마다 모든 소켓 집합을 새로 복사해야 하므로 성능이 떨어집니다.
이 때문에 대규모 연결 처리에는 부적합한 경우가 많습니다.

📌 poll의 등장

이러한 한계를 보완하기 위해 나온 방식이 poll입니다.
poll은 소켓의 개수에 제한이 없으며, 구조체 배열을 사용하여 이벤트를 감시합니다.
각 소켓마다 이벤트 정보를 담고 있어 select보다 유연합니다.

그러나 poll 역시 모든 소켓을 매번 순회하면서 상태를 확인하기 때문에, 연결이 수천 개 이상으로 늘어나면 성능 저하가 발생할 수 있습니다.
즉, select보다는 개선되었지만 여전히 완벽한 해결책은 아니었던 셈입니다.

• 🔎select : 제한된 연결 수, 매번 비트마스크 복사 필요
• ⚙️poll : 제한 없음, 배열 기반 구조, 그러나 전체 순회로 성능 저하 가능

⚙️ epoll과 kqueue의 고성능 비밀

리눅스에서는 epoll, BSD 계열과 macOS에서는 kqueue라는 고성능 이벤트 감시 메커니즘을 제공합니다.
이 두 가지는 select와 poll의 단점을 보완하면서 대규모 네트워크 연결 환경에서 안정적으로 동작합니다.

epoll은 커널에 감시할 파일 디스크립터 목록을 등록해두고, 이벤트가 발생했을 때만 알려주는 이벤트 통지(event notification) 방식을 사용합니다.
즉, 매번 전체 소켓을 확인할 필요가 없기 때문에 수만 개의 연결도 효율적으로 관리할 수 있습니다.

📌 epoll의 장점

epoll은 다음과 같은 특징을 가지고 있습니다.

📌 kqueue의 특징

kqueue는 BSD 계열 운영체제에서 제공하는 이벤트 감시 시스템으로, epoll과 유사하게 이벤트 중심 모델을 따릅니다.
네트워크 소켓뿐 아니라 파일 시스템 이벤트, 프로세스 신호, 타이머 이벤트까지 감시할 수 있다는 점에서 더 확장성이 뛰어납니다.

즉, kqueue는 단순한 네트워크 서버뿐 아니라 시스템 전반에서 발생하는 다양한 이벤트를 통합적으로 처리할 수 있도록 설계된 고급 기능입니다.

🔌 selectors 모듈로 단일 API 사용하기

파이썬은 운영체제마다 다른 이벤트 감시 방식을 일일이 다룰 필요가 없도록 selectors 모듈을 제공합니다.
이 모듈은 내부적으로 select, poll, epoll, kqueue 중 가장 적합한 것을 자동으로 선택해 사용합니다.
덕분에 개발자는 플랫폼에 구애받지 않고 동일한 코드로 네트워크 서버를 구현할 수 있습니다.

selectors는 BaseSelector를 기반으로 동작하며, 환경에 따라 EpollSelector, KqueueSelector, PollSelector, SelectSelector 중 하나를 사용합니다.
즉, 한 번의 코드 작성으로 여러 운영체제에서 호환성을 확보할 수 있습니다.

📌 selectors 기본 사용법

아래는 selectors 모듈을 활용한 간단한 TCP 에코 서버 예제입니다.

import selectors
import socket

sel = selectors.DefaultSelector()

def accept(sock):
    conn, addr = sock.accept()
    conn.setblocking(False)
    sel.register(conn, selectors.EVENT_READ, read)

def read(conn):
    data = conn.recv(1024)
    if data:
        conn.sendall(data)
    else:
        sel.unregister(conn)
        conn.close()

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.bind(('localhost', 8888))
sock.listen()
sock.setblocking(False)
sel.register(sock, selectors.EVENT_READ, accept)

while True:
    events = sel.select()
    for key, mask in events:
        callback = key.data
        callback(key.fileobj)

위 코드는 selectors를 사용하여 여러 클라이언트의 접속을 동시에 처리하는 서버를 구현한 예시입니다.
운영체제에 따라 내부적으로 select, poll, epoll, kqueue가 선택되지만, 코드 자체는 변하지 않는 것이 장점입니다.

📌 selectors의 장점

• ✅운영체제별 차이를 신경 쓸 필요 없음
• ⚡수천 개의 소켓도 효율적으로 관리 가능
• 🛡️안정적이고 일관된 API 제공

💡 실전 예제와 활용 시나리오

selectors 모듈은 다양한 네트워크 서비스 개발에 활용됩니다.
특히 채팅 서버, 실시간 알림 서비스, 웹소켓 기반 애플리케이션 등에서 자주 사용되며, 고성능이 필요한 환경에서도 안정적인 성능을 발휘합니다.

📌 실시간 채팅 서버 구현

다수의 사용자가 동시에 메시지를 주고받는 채팅 애플리케이션에서는 비동기 이벤트 처리가 필수입니다.
selectors를 이용하면 모든 연결을 효율적으로 관리하면서 지연 없는 실시간 통신이 가능합니다.

📌 고성능 API 서버

REST API나 gRPC 같은 서버도 수많은 클라이언트 요청을 동시에 처리해야 합니다.
이때 selectors를 적용하면 프로세스나 스레드를 과도하게 생성하지 않고도 높은 처리량을 확보할 수 있습니다.

📌 IoT 및 게임 서버

수천 대의 IoT 기기나 다수의 게이머가 동시에 접속하는 서버 환경에서도 selectors는 강력한 도구가 됩니다.
네트워크 지연을 최소화하면서도 안정적인 연결을 유지할 수 있기 때문이죠.

💬 실무에서는 selectors와 asyncio를 조합하여 더욱 직관적이고 강력한 비동기 서버를 만들 수 있습니다.

❓ 자주 묻는 질문 (FAQ)