파이썬 BeautifulSoup과 Requests로 웹 스크래핑 효율 높이는 방법

🔗 BeautifulSoup과 requests의 기본 연계

웹 스크래핑에서 BeautifulSoup은 HTML을 파싱하여 원하는 데이터를 쉽게 추출할 수 있게 해주지만, 그 전에 데이터를 받아오는 역할은 requests 라이브러리가 담당합니다.
즉, requests로 웹 페이지에 요청을 보내고, 응답으로 받은 HTML을 BeautifulSoup에 전달하여 파싱하는 것이 가장 기본적인 흐름입니다.
이 두 도구를 결합하면 단순한 HTML 파일 분석을 넘어 실제 웹사이트 데이터를 자동으로 수집할 수 있게 됩니다.

예를 들어 간단한 블로그 페이지의 제목을 가져오고 싶다면, requests로 페이지를 요청하고 BeautifulSoup으로 제목 태그를 탐색하는 방식으로 처리할 수 있습니다.
이 과정은 기본적이면서도 모든 웹 크롤링의 출발점이 됩니다.
아래는 가장 단순한 형태의 예시 코드입니다.

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

title = soup.find("title")
print(title.get_text())

위 코드는 단순히 페이지 제목을 가져오는 예시지만, 같은 원리로 특정 태그, 클래스, 속성을 기준으로 원하는 데이터를 추출할 수 있습니다.
requests와 BeautifulSoup의 연계는 단순히 코드 한 줄 차이지만, 웹 데이터 처리에서 엄청난 차이를 만들어냅니다.

⚙️ GET과 POST 요청 다루기

웹과의 통신에서 가장 기본이 되는 방식은 GET과 POST 요청입니다.
GET은 단순히 페이지나 데이터를 가져올 때 사용되며, POST는 로그인이나 데이터 전송처럼 서버에 정보를 제출할 때 주로 활용됩니다.
웹 크롤링을 할 때 이 두 요청을 이해하지 못하면 제대로 된 데이터 수집이 불가능합니다.

requests 라이브러리는 GET과 POST 요청을 매우 간단하게 처리할 수 있습니다.
GET 요청은 주소(URL)만으로 데이터를 받아오고, POST 요청은 추가적인 payload(폼 데이터 등)를 서버에 함께 전달해야 합니다.
아래는 각각의 예시 코드입니다.

import requests

# GET 요청
res = requests.get("https://httpbin.org/get", params={"q": "python"})
print(res.json())

# POST 요청
payload = {"username": "admin", "password": "1234"}
res = requests.post("https://httpbin.org/post", data=payload)
print(res.json())

위 코드에서 GET은 검색 파라미터를 전달하여 데이터를 가져오고, POST는 로그인 요청처럼 서버에 데이터를 전송합니다.
실제 웹사이트에서도 로그인, 검색, 댓글 작성과 같은 동작들은 대부분 POST 요청을 통해 이루어집니다.

💬 GET과 POST 요청의 차이를 이해하면 크롤링뿐만 아니라 API 활용에도 유용합니다.
특히 JSON 형태의 응답을 받아 데이터 처리 자동화에 활용하는 경우가 많습니다.

🔐 세션 유지(Session)로 로그인 상태 관리

많은 웹사이트는 로그인 이후에만 접근할 수 있는 페이지를 제공합니다.
예를 들어, 회원 정보, 장바구니, 주문 내역 같은 페이지는 단순 GET 요청으로는 접근이 불가능합니다.
이때 필요한 것이 바로 세션(session) 유지입니다.
세션을 활용하면 로그인 상태를 유지하면서 여러 요청을 연속적으로 보낼 수 있습니다.

파이썬 requests는 Session 객체를 제공하여 쿠키와 인증 정보를 자동으로 관리합니다.
즉, 한 번 로그인하면 이후 요청에서도 같은 인증이 유지되어, 매번 로그인할 필요가 없습니다.

import requests

# 세션 객체 생성
session = requests.Session()

# 로그인 요청
login_data = {"username": "admin", "password": "1234"}
session.post("https://example.com/login", data=login_data)

# 로그인 후 접근 가능한 페이지
res = session.get("https://example.com/dashboard")
print(res.text)

위 예제는 로그인 과정을 거친 후 대시보드 페이지를 요청하는 흐름을 보여줍니다.
세션 객체는 쿠키와 인증 토큰을 내부적으로 관리하기 때문에, 로그인 이후에도 동일한 세션으로 계속 요청을 보낼 수 있습니다.

• 🔑로그인 성공 후 발급되는 세션 쿠키는 자동 저장됩니다.
• 📨이후 요청에서는 별도의 인증 과정을 반복할 필요가 없습니다.
• 🔒보안상 중요한 페이지 접근에도 안정적으로 활용 가능합니다.

⏱️ timeout 설정과 네트워크 안정성 확보

웹 크롤링을 하다 보면 서버 응답이 느리거나 연결이 지연되는 경우가 많습니다.
이때 timeout을 설정하지 않으면 코드가 무한 대기 상태에 빠질 수 있습니다.
특히 반복 요청이 필요한 크롤러에서 timeout 미설정은 전체 작업을 멈추게 만드는 큰 문제가 될 수 있습니다.

파이썬 requests는 timeout 매개변수를 제공하여 연결 시간과 응답 대기 시간을 지정할 수 있습니다.
이 설정을 통해 네트워크 환경이 불안정한 상황에서도 일정 시간이 지나면 자동으로 요청을 중단하게 할 수 있습니다.

import requests

url = "https://example.com"

try:
    res = requests.get(url, timeout=(3, 5))  # (연결 제한, 응답 제한)
    print(res.status_code)
except requests.exceptions.Timeout:
    print("요청 시간이 초과되었습니다.")

위 코드에서 timeout=(3,5)는 연결(connect)에 3초, 응답(read)에 5초를 설정한 예시입니다.
즉, 서버가 일정 시간 안에 반응하지 않으면 프로그램이 자동으로 예외를 발생시켜 다른 로직으로 넘어갈 수 있습니다.

💬 timeout은 단순히 응답 지연을 방지하는 것을 넘어, 서버 부하를 최소화하고 크롤링 효율성을 높이는 중요한 장치입니다.

• ⚡연결 제한(connect timeout)과 응답 제한(read timeout)을 따로 지정할 수 있습니다.
• 🌐네트워크 환경이 불안정한 경우 크롤링이 무기한 멈추는 것을 방지합니다.
• 🔄다른 예외 처리와 결합해 재시도 로직을 구현할 때 유용합니다.

🔄 retry와 backoff 전략으로 자동 재시도 구현

실제 크롤링 작업에서는 네트워크 오류나 서버의 일시적 장애로 요청이 실패하는 경우가 자주 발생합니다.
이때 단순히 실패한 요청을 무시하면 데이터 손실이 생기고, 무한 반복으로 재요청하면 서버에 과도한 부하를 줄 수 있습니다.
따라서 retry(재시도)와 backoff(재시도 간격 조정) 전략을 도입하는 것이 중요합니다.

파이썬 requests 단독으로는 retry 기능이 없지만, urllib3의 Retry 객체를 활용하거나 requests.adapters.HTTPAdapter와 결합해 재시도 로직을 구현할 수 있습니다.
이를 통해 일시적인 네트워크 장애에 자동으로 대응할 수 있습니다.

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

# 세션 생성
session = requests.Session()

# retry & backoff 설정
retry_strategy = Retry(
    total=5,                # 최대 재시도 횟수
    backoff_factor=1,       # 재시도 간격 (1초, 2초, 4초...)
    status_forcelist=[429, 500, 502, 503, 504],  # 재시도할 상태 코드
)

adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount("http://", adapter)
session.mount("https://", adapter)

# 요청 실행
res = session.get("https://httpbin.org/status/500")
print(res.status_code)

위 코드에서 backoff_factor=1은 재시도 간격을 점진적으로 늘리는 설정으로, 첫 번째 실패 시 1초, 두 번째 실패 시 2초, 세 번째는 4초로 늘어나며 서버에 과부하를 주지 않도록 설계됩니다.

• 🔁네트워크 오류, 서버 오류(500대) 발생 시 자동으로 재시도합니다.
• 📶backoff를 적용해 서버 부하를 줄이면서 안정적으로 요청을 이어갑니다.
• 🛡️대량 크롤링 시 네트워크 품질 변동에도 유연하게 대응할 수 있습니다.

❓ 자주 묻는 질문 (FAQ)