파이썬 BeautifulSoup 기본 크롤링 레시피 한 줄 코드로 시작하는 웹 스크래핑

🧩 기본 개념과 준비물

웹 크롤링을 시작하기 전에 가장 먼저 이해해야 할 점은 크롤링과 스크래핑의 차이입니다.
크롤링은 여러 웹페이지를 탐색하며 데이터를 모으는 과정이고, 스크래핑은 특정 페이지에서 원하는 정보를 추출하는 작업을 의미합니다.
이번에 다룰 BeautifulSoup 기본 레시피는 웹페이지 한 곳에서 필요한 데이터를 뽑아내는 데 중점을 둡니다.

환경 준비로는 Python 3.7 이상과 몇 가지 필수 패키지가 필요합니다.
대표적으로 requests와 beautifulsoup4, 그리고 빠른 파싱을 돕는 lxml 라이브러리를 설치해야 합니다.
이는 pip를 통해 간단히 해결됩니다.

• 📦pip install requests 실행
• 📦pip install beautifulsoup4 실행
• 📦pip install lxml 실행

모듈 설치가 끝나면 크롤링의 기본 흐름을 머릿속에 넣어두는 것이 좋습니다.
흐름은 크게 ① 웹페이지 요청 → ② HTML 파싱 → ③ 원하는 요소 선택 세 단계로 나뉘며, 이를 한 줄 코드로 정리하면 다음과 같은 형태가 됩니다.

res = requests.get(url, timeout=5)
soup = BeautifulSoup(res.text, 'lxml')
items = soup.select('ul li > a')

위 코드가 바로 이번 글의 핵심 레시피입니다.
짧지만 크롤링의 시작과 끝을 모두 담고 있으며, 이후 다양한 응용 역시 이 구조를 바탕으로 확장됩니다.
다만 웹사이트마다 구조가 다르기 때문에 CSS 선택자를 올바르게 이해하는 것이 중요합니다.

🛠️ requests로 HTML 가져오기

웹 크롤링의 출발점은 원하는 웹페이지의 HTML을 불러오는 것입니다.
이를 위해 requests 라이브러리를 사용합니다.
파이썬 표준 라이브러리로도 가능하지만, requests는 단순하고 직관적인 API로 인해 크롤링 입문자에게 가장 추천되는 방법입니다.

가장 기본적인 문법은 다음과 같습니다.

import requests

url = "https://example.com"
res = requests.get(url, timeout=5)

print(res.status_code)
print(res.text[:500])

여기서 status_code는 요청 성공 여부를 확인하는 데 중요합니다.
200이면 정상, 404는 페이지 없음, 500은 서버 오류를 의미합니다.
또한 timeout 옵션은 서버가 응답하지 않을 때 무한 대기 상태에 빠지지 않도록 안전 장치 역할을 합니다.

🔑 헤더와 요청 제어

일부 웹사이트는 기본적인 요청을 차단하거나, 브라우저에서 접속한 것처럼 보이는 요청만 허용합니다.
이때는 headers를 추가하여 User-Agent를 설정해 주는 것이 좋습니다.

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0 Safari/537.36"
}
res = requests.get(url, headers=headers, timeout=5)

이렇게 하면 브라우저에서 접속하는 것처럼 위장할 수 있어 정상적으로 HTML을 가져오는 확률이 높아집니다.
대부분의 실전 크롤링에서 이 기법은 거의 필수라고 할 수 있습니다.

🥣 BeautifulSoup 파싱과 선택자

웹페이지에서 가져온 HTML은 단순 문자열 형태라 사람이 읽기 어렵습니다.
이때 BeautifulSoup을 사용하면 구조화된 트리 형태로 파싱하여 원하는 요소를 쉽게 다룰 수 있습니다.
특히 lxml 파서를 활용하면 빠른 속도와 안정성을 동시에 얻을 수 있습니다.

from bs4 import BeautifulSoup

soup = BeautifulSoup(res.text, "lxml")
print(soup.title.text)   # 페이지 제목
print(soup.p)            # 첫 번째 p 태그

위 예제처럼 soup 객체는 HTML 요소에 바로 접근할 수 있는 편리한 기능을 제공합니다.
soup.title은 문서의 제목 태그를, soup.p는 첫 번째 단락을 반환합니다.
그러나 실제로는 여러 개의 동일 태그가 존재하므로 find(), find_all(), select() 같은 메서드를 주로 활용합니다.

🔍 주요 메서드 비교

실무에서는 대부분 select()를 사용하는 편이 효율적입니다.
왜냐하면 브라우저의 개발자 도구에서 바로 CSS 선택자를 복사해 적용할 수 있기 때문입니다.
이 덕분에 코드 작성 속도가 훨씬 빨라지고 오류 가능성도 줄어듭니다.

🧪 CSS 선택자 실전 패턴 ul li>a

웹 크롤링에서 가장 자주 접하는 구조 중 하나는 리스트 형태의 링크 모음입니다.
예를 들어 게시판 글 목록, 뉴스 기사 타이틀, 상품 리스트 등이 이에 해당합니다.
이 경우 CSS 선택자 ul li > a를 사용하면 리스트 안의 모든 링크 요소를 한 번에 가져올 수 있습니다.

items = soup.select("ul li > a")
for item in items:
    print(item.text, item["href"])

이 구문은 모든 ul 태그 내부의 li에 포함된 a 태그를 선택합니다.
따라서 뉴스 목록에서 제목과 링크 주소를 일괄 수집할 때 매우 유용합니다.
특히 item.text로는 링크 텍스트를, item[“href”]로는 링크 주소를 얻을 수 있습니다.

📌 선택자 패턴 확장

실제 사이트마다 HTML 구조가 다르기 때문에, 기본 패턴을 변형해야 할 때가 많습니다.

• 🔎ul.news-list li a.title : 특정 클래스가 붙은 링크만 선택
• 🔎div.product-list > ul > li > a : 특정 컨테이너 내부 링크만 추출
• 🔎ul li > a[href^=”/article”] : 특정 경로로 시작하는 링크만 추출

이처럼 CSS 선택자를 자유자재로 활용하면 사이트 구조가 달라져도 원하는 데이터를 손쉽게 추출할 수 있습니다.

⚡ 레시피 통합 코드와 예제

앞에서 다룬 requests 요청, BeautifulSoup 파싱, ul li > a 선택자를 하나로 합치면 가장 기본적인 크롤링 레시피가 완성됩니다.
이 코드는 리스트 형태의 링크 텍스트와 주소를 동시에 추출할 수 있어 뉴스, 블로그 글, 상품 리스트 등 다양한 사이트에서 곧바로 활용 가능합니다.

import requests
from bs4 import BeautifulSoup

url = "https://example.com/news"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0 Safari/537.36"
}
res = requests.get(url, headers=headers, timeout=5)

soup = BeautifulSoup(res.text, "lxml")
items = soup.select("ul li > a")

for item in items:
    print(item.text.strip(), item["href"])

이 통합 예제는 웹 크롤링의 최소 단위이자 가장 많이 사용되는 패턴입니다.
추가적으로 예외 처리나 저장 기능을 더하면 실제 프로젝트에서도 바로 응용할 수 있습니다.

📝 응용 아이디어

• 💾추출한 데이터를 CSV 파일로 저장하기
• ⏱️여러 페이지를 순회하며 페이지네이션 처리하기
• 🧹strip()을 이용해 공백과 특수문자 정리하기
• 🔗상대 경로 링크를 절대 경로로 변환하기

❓ 자주 묻는 질문 (FAQ)