파이썬 BeautifulSoup 정규식 활용 re.compile 패턴 매칭과 HTML 텍스트 처리

🔍 re.compile로 정규식 패턴 매칭하기

웹 크롤링에서 원하는 텍스트를 추출할 때 단순히 태그 이름이나 클래스만으로는 부족할 때가 많습니다.
예를 들어 기사 제목이나 제품 이름처럼 일정한 규칙이 있는 문자열만 가져오고 싶다면 re.compile()을 활용해야 합니다.
정규 표현식은 문자열 패턴을 정의하는 강력한 도구로, BeautifulSoup과 함께 쓰면 선택 범위를 정밀하게 좁힐 수 있습니다.

파이썬에서 re.compile은 정규식을 컴파일하여 패턴 객체를 반환합니다.
이 객체를 BeautifulSoup의 find_all 같은 메서드에 넣으면, HTML 문서 안에서 해당 패턴과 일치하는 텍스트를 효율적으로 찾을 수 있습니다.
예를 들어 이메일 주소나 특정 키워드로 시작하는 문장, 숫자로 끝나는 텍스트 등을 정규식으로 지정할 수 있습니다.

import re
from bs4 import BeautifulSoup

html = "<p>문의: support@example.com</p>"
soup = BeautifulSoup(html, "html.parser")

pattern = re.compile(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}")
emails = soup.find_all(string=pattern)

print(emails)  # ['support@example.com']

위 예시에서 정규식을 활용하면 HTML 내부의 이메일 주소를 정확히 추출할 수 있습니다.
이처럼 re.compile은 복잡한 텍스트 패턴을 정교하게 매칭할 때 매우 유용합니다.
특히 뉴스 기사, 쇼핑몰 데이터, 사용자 리뷰 등 다양한 웹 데이터에서 반복적으로 나타나는 특정 형태의 문자열을 추출할 때 실무에서 자주 쓰입니다.

📑 find_all(string=regex) 활용법

BeautifulSoup은 특정 태그나 속성뿐 아니라, 태그 내부의 문자열 자체도 검색할 수 있는 기능을 제공합니다.
이때 많이 쓰이는 방식이 바로 find_all(string=정규식)입니다.
HTML 문서 내 텍스트 중 정규식과 일치하는 부분만 찾아주기 때문에, 불필요한 태그 탐색을 줄이고 더 빠르게 원하는 데이터를 뽑을 수 있습니다.

예를 들어 웹페이지에 여러 문장이 있고, 그 중에서 “Python”이라는 단어가 포함된 텍스트만 가져오고 싶다고 해봅시다.
이럴 때 단순한 문자열 검색보다 정규식을 적용하면 대소문자 구분 없이 찾거나, 특정 단어 패턴을 확장해서 찾는 것도 가능합니다.

import re
from bs4 import BeautifulSoup

html = """
<div>Python은 인기 있는 언어입니다</div>
<div>자바도 많이 사용됩니다</div>
<div>PYTHON 활용 예제</div>
"""

soup = BeautifulSoup(html, "html.parser")

results = soup.find_all(string=re.compile("python", re.I))
print(results)  
# ['Python은 인기 있는 언어입니다', 'PYTHON 활용 예제']

위 코드에서 정규식 re.compile("python", re.I)를 사용하면 대소문자 구분 없이 모든 “Python” 관련 문자열을 추출할 수 있습니다.
이 기법은 뉴스 기사에서 특정 키워드가 포함된 문장만 모으거나, 사용자 리뷰에서 브랜드명을 탐색할 때 등 텍스트 필터링에 매우 효과적입니다.

✨ 공백 정규화로 텍스트 정리

웹 크롤링을 통해 가져온 데이터는 예쁘게 정리된 상태가 아니라, 불필요한 공백이나 줄바꿈이 섞여 있는 경우가 많습니다.
특히 HTML 문서에는 여러 개의 스페이스, 탭, 줄바꿈 문자가 뒤섞여 있어 가공하지 않으면 분석하기 불편합니다.
이때 정규 표현식을 활용한 공백 정규화는 데이터를 깔끔하게 정리하는 데 꼭 필요한 과정입니다.

파이썬에서는 re.sub를 이용해 여러 개의 공백을 하나로 합치거나, 불필요한 줄바꿈을 제거할 수 있습니다.
이렇게 정리된 텍스트는 데이터베이스에 저장하거나 자연어 처리 모델에 투입할 때 훨씬 안정적입니다.

import re

text = "   파이썬     BeautifulSoup   예제   \n\n   정규화   테스트   "
cleaned = re.sub(r"\s+", " ", text).strip()

print(cleaned)
# 결과: "파이썬 BeautifulSoup 예제 정규화 테스트"

위 예시처럼 정규식을 사용하면 불필요한 공백과 줄바꿈을 단 한 줄의 코드로 정리할 수 있습니다.
이 과정을 거치면 데이터 품질이 높아지고 후처리 비용이 크게 줄어듭니다.
실제 업무에서는 크롤링 데이터 전처리 단계에서 반드시 수행하는 필수 작업 중 하나입니다.

🔠 HTML 엔티티 처리 방법

HTML 문서에는 종종 엔티티(Entity)라는 특수 기호가 포함되어 있습니다.
대표적으로 &, <, >,   같은 형태가 있는데, 이는 실제로는 &, <, >, 공백을 의미합니다.
이 엔티티들을 제대로 변환하지 않으면 크롤링한 텍스트가 깨지거나 분석할 때 불편함을 초래합니다.

파이썬에서는 html 모듈의 unescape 함수를 활용하면 손쉽게 엔티티를 일반 문자로 변환할 수 있습니다.
또한 BeautifulSoup은 HTML 파싱 과정에서 자동으로 일부 엔티티를 변환해 주지만, 데이터 정제 단계에서 명시적으로 처리해 주는 것이 안전합니다.

import html

text = "Tom & Jerry <Cartoon>"
decoded = html.unescape(text)

print(decoded)
# 결과: Tom & Jerry <Cartoon>

위 코드처럼 html.unescape()를 사용하면 엔티티가 실제 기호로 변환됩니다.
이를 통해 데이터가 사람이 읽기 좋은 형태로 바뀌고, 분석이나 저장 시 불필요한 오류를 예방할 수 있습니다.

🛠️ BeautifulSoup와 re 함께 쓰는 실전 예제

지금까지 배운 re.compile, find_all(string=regex), 공백 정규화, HTML 엔티티 처리를 하나의 흐름 속에서 활용하면 실전 크롤링에서 매우 강력한 도구가 됩니다.
단순히 데이터를 가져오는 데 그치지 않고, 전처리까지 한 번에 처리하면 분석 준비가 훨씬 수월해집니다.

아래 예시는 블로그 글 본문에서 이메일 주소를 추출하고, 불필요한 공백을 정리한 뒤 HTML 엔티티를 처리하는 전체 과정입니다.
실제 프로젝트에서도 비슷한 방식으로 적용할 수 있으며, 상황에 따라 정규식을 조금 변형하면 다양한 데이터에 대응할 수 있습니다.

import re, html
from bs4 import BeautifulSoup

html_doc = """
<div>문의: support@example.com</div>
<div>문의: help&commat;service.co.kr</div>
<p>   텍스트   정리   예제   </p>
"""

soup = BeautifulSoup(html_doc, "html.parser")

# 1) 이메일 패턴 매칭
pattern = re.compile(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}")
emails = soup.find_all(string=pattern)

# 2) 공백 정규화
cleaned_texts = [re.sub(r"\\s+", " ", t).strip() for t in emails]

# 3) HTML 엔티티 처리
decoded_texts = [html.unescape(t) for t in cleaned_texts]

print(decoded_texts)
# 결과: ['support@example.com', 'help@service.co.kr']

위 코드에서 보듯, 각 단계를 차례대로 거치면 데이터는 정확하고 사람이 읽기 좋은 형태로 변환됩니다.
이 과정을 습관적으로 적용하면 크롤링 데이터의 품질이 올라가고, 후속 분석이나 머신러닝 모델 학습에서도 훨씬 안정적인 결과를 얻을 수 있습니다.

• 🔍정규식을 활용해 원하는 데이터만 추출
• ✨불필요한 공백 제거로 데이터 품질 향상
• 🔠HTML 엔티티 처리로 텍스트 가독성 확보

❓ 자주 묻는 질문 (FAQ)