파이썬 Selenium 프록시 설정과 인증 프록시 대안 완벽 가이드

🌐 Selenium 프록시 설정 기본 이해

파이썬 Selenium에서 프록시(proxy) 설정은 웹 요청을 다른 서버를 통해 우회하거나, 특정 지역의 IP 주소를 사용하는 데 유용합니다.
이를 통해 IP 차단을 피하거나, 특정 국가에서만 접근 가능한 웹사이트를 테스트할 수 있습니다.
가장 기본적인 방식은 –proxy-server 옵션을 이용하는 방법입니다.

예를 들어, Chrome WebDriver를 실행할 때 옵션을 추가하여 프록시 서버를 설정할 수 있습니다.
이 방식은 단순히 트래픽을 지정한 프록시를 통해 전달하는 구조로, 별도의 인증이 필요 없는 환경에서는 매우 간단하고 직관적으로 사용할 수 있습니다.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--proxy-server=http://123.45.67.89:8080")

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/ip")

위 코드에서는 http://123.45.67.89:8080 형태의 프록시 서버를 지정했습니다.
이 경우, Selenium이 보내는 모든 요청은 해당 서버를 경유하게 됩니다.

즉, Selenium의 프록시 옵션은 기본적으로 간단하지만, 보안 환경에서는 한계가 존재합니다.
이후 단계에서 인증 프록시를 다루는 방법과, 보다 안정적인 대안들을 살펴보겠습니다.

🔑 인증 프록시 환경에서의 문제점

많은 프록시 서버는 단순히 IP와 포트만 입력한다고 접근할 수 있는 것이 아니라, 아이디와 비밀번호 인증을 요구합니다.
이러한 인증 프록시는 보안과 접근 제어를 위해 필수적이지만, Selenium 기본 옵션만으로는 지원하기 어렵습니다.

브라우저에서 직접 프록시 인증 팝업을 마주한 경험이 있을 텐데, Selenium 환경에서도 동일하게 인증 창이 뜨게 됩니다.
문제는 이 창이 자동화 코드에서 직접 제어하기 어렵다는 점입니다.
즉, Selenium은 DOM 요소를 조작할 수 있지만, 브라우저 네이티브 팝업은 지원하지 않기 때문에 인증 입력을 자동화하기 어렵습니다.

💬 –proxy-server 옵션은 인증 프록시에 대해 직접적인 해결책을 제공하지 못합니다.
따라서 다른 방식으로 접근해야 합니다.

일부 개발자들은 크롬 확장 프로그램을 직접 제작해 로그인 정보를 자동 입력하는 방식을 쓰기도 합니다.
또는 인증이 필요한 프록시를 미리 설정한 시스템 레벨의 네트워크 환경을 구성한 뒤 Selenium을 실행하는 방법도 있습니다.
하지만 이런 방식은 환경 의존성이 크고, 유지보수가 어렵다는 단점이 있습니다.

따라서 보다 실용적인 대안으로는 세션 쿠키를 직접 관리하거나, 별도의 네트워크 라이브러리를 활용하는 방식이 자주 활용됩니다.
다음 단계에서 이 대안들을 구체적으로 살펴보겠습니다.

🍪 세션 쿠키 기반 대안 방법

인증 프록시 문제를 해결하는 가장 실용적인 대안 중 하나는 세션 쿠키(session cookie)를 직접 활용하는 방식입니다.
프록시 서버에 한 번 인증을 마치면, 서버는 인증 정보를 담은 세션 쿠키를 발급합니다.
이 쿠키를 Selenium WebDriver 세션에 삽입하면 인증 팝업을 우회할 수 있습니다.

예를 들어, requests나 curl을 통해 미리 인증 절차를 수행하고 발급받은 쿠키를 추출한 뒤, Selenium 브라우저에 주입하는 방식이 널리 사용됩니다.
이렇게 하면 Selenium이 프록시 인증 과정을 직접 처리하지 않아도 안정적으로 접근할 수 있습니다.

from selenium import webdriver

# WebDriver 생성
driver = webdriver.Chrome()

# 미리 확보한 세션 쿠키 주입
cookies = {
    "name": "sessionid",
    "value": "abcd1234efgh5678",
    "domain": "example.com"
}

driver.get("https://example.com")
driver.add_cookie(cookies)
driver.refresh()

위 코드에서는 인증 절차를 거쳐 확보한 세션 쿠키를 직접 삽입했습니다.
이후 페이지를 새로고침하면 프록시 인증 없이 바로 접근이 가능해집니다.

단, 세션 쿠키는 일정 시간이 지나면 만료되므로, 장기적인 자동화에는 다시 인증 과정을 거쳐 새로운 쿠키를 발급받는 과정이 필요합니다.
이를 자동화하면 인증 프록시 환경에서도 안정적으로 Selenium을 사용할 수 있습니다.

📡 네트워크 라이브러리 조합 활용

인증 프록시가 필요한 환경에서 모든 요청을 Selenium 브라우저만으로 처리하려고 하면 팝업, 인증 캐시, 네이티브 다이얼로그 등으로 인해 구현 난이도가 급격히 올라갑니다.
그래서 실무에서는 요청 전송은 네트워크 라이브러리가 담당하고, UI 상호작용만 Selenium이 처리하도록 역할을 분리하는 전략이 자주 쓰입니다.
이 방식은 인증 프록시 처리 유연성, 재시도 제어, 타임아웃 및 회로차단 등 품질 관리 측면에서 유리합니다.

🧩 httpx로 인증 프록시 통과 후 쿠키/데이터 전달

httpx는 동기·비동기를 모두 지원하며, 프록시 인증, 세션 쿠키, 타임아웃/재시도 구성이 간편합니다.
아래 예시는 인증 프록시를 통해 로그인 요청을 보내고, 받은 쿠키를 Selenium으로 전달한 뒤 렌더링만 브라우저에서 수행하는 전형적인 패턴입니다.

import httpx
from selenium import webdriver

PROXY = "http://proxy-user:proxy-pass@123.45.67.89:8080"

with httpx.Client(proxies=PROXY, timeout=15.0, follow_redirects=True) as client:
    # 1) 인증 프록시를 경유해 로그인
    r = client.post("https://example.com/api/login", data={"id": "alice", "pw": "secret"})
    r.raise_for_status()

    # 2) 받은 세션 쿠키 확보
    cookies = client.cookies

# 3) Selenium 브라우저에서 렌더링
driver = webdriver.Chrome()
driver.get("https://example.com")

# 4) httpx 세션 쿠키를 브라우저로 이관
for name, value in cookies.jar.items():
    driver.add_cookie({"name": name, "value": value, "domain": "example.com"})

driver.refresh()

핵심은 프록시 인증과 데이터 수집을 코드로 완전히 통제하고, Selenium은 화면 전환·버튼 클릭·스크린샷 등 브라우저 상호작용에만 집중하게 만드는 것입니다.
이 패턴은 API 호출량이 많거나 페이지 전환이 잦은 테스트에서 특히 안정적으로 동작합니다.

🔁 requests + Selenium 조합으로 HTML 사전 로드

페이지 렌더링이 무거운 경우, requests로 HTML을 먼저 가져온 다음, 필요한 링크나 토큰만 추출해 Selenium으로 넘기는 방식도 유용합니다.
로딩 시간을 크게 줄일 수 있고, 인증 프록시 문제도 동일한 방식으로 해결됩니다.

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

PROXY = "http://proxy-user:proxy-pass@123.45.67.89:8080"

session = requests.Session()
session.proxies.update({"http": PROXY, "https": PROXY})

# 인증이 필요한 엔드포인트 접근
html = session.get("https://example.com/dashboard").text
soup = BeautifulSoup(html, "html.parser")
target_link = soup.select_one("a.report")["href"]  # 예시: 보고서 링크

driver = webdriver.Chrome()
driver.get(target_link)  # Selenium은 최종 렌더링만 담당

🧪 선택지: Selenium Wire, 로컬 프록시, PAC 파일

특정 상황에서는 다음 선택지도 고려할 수 있습니다.
단, 팀 표준과 보안 정책을 반드시 확인하세요.

• 🛰️Selenium Wire: 브라우저 네트워크 계층을 훅킹해 요청/응답을 관찰·변경.
  프록시·헤더 제어가 쉬워집니다.
• 🧰로컬 프록시(예: mitmproxy)를 중간에 두고 인증을 한 번만 처리.
  브라우저는 로컬 프록시만 바라보도록 설정합니다.
• 🗺️PAC 파일로 도메인별 프록시 경로를 정의.
  필요한 도메인에만 프록시를 적용해 성능과 안정성을 높입니다.

💡 안정적인 인증 프록시 처리 전략

인증 프록시 환경에서 Selenium을 활용하려면 단순히 –proxy-server 옵션만으로는 부족합니다.
따라서 세션 쿠키 관리, 네트워크 라이브러리 조합, 로컬 프록시 활용 같은 다양한 기법을 적절히 섞어 안정성을 확보하는 전략이 필요합니다.

🛡️ 보안과 자동화의 균형 맞추기

인증 프록시 환경에서는 보안 규정을 준수하면서도 자동화 효율을 높이는 균형이 필요합니다.
예를 들어, 쿠키 자동 갱신 로직을 구현하거나 API 로그인 절차를 통해 새로운 세션을 주기적으로 발급받는 것이 좋은 방법입니다.

🔄 인증 자동화 파이프라인 설계

장기적으로 안정적인 환경을 만들려면 인증 과정을 자동화된 파이프라인으로 설계하는 것이 필요합니다.
CI/CD 환경에서 테스트 시 환경 변수나 비밀 관리 도구(예: HashiCorp Vault, AWS Secrets Manager)를 활용해 인증 정보를 안전하게 주입하는 방식이 효과적입니다.

📊 실무 적용 사례

실제 기업 환경에서는 사내 VPN과 인증 프록시를 함께 사용하는 경우가 많습니다.
이때는 VPN 세션 유지 → 프록시 인증 → 세션 쿠키 이관이라는 단계를 자동화 스크립트로 구현하여 테스트 안정성을 높입니다.
또한 대규모 트래픽 테스트에서는 httpx 같은 고성능 네트워크 라이브러리로 API 요청을 처리하고, Selenium은 UI 렌더링과 시각 검증만 담당하도록 분리하는 패턴이 자주 사용됩니다.

❓ 자주 묻는 질문 (FAQ)