파이썬 BeautifulSoup prettify 직렬화와 str encode 활용법

🔎 BeautifulSoup .prettify() 서식화 출력

웹 크롤링을 하다 보면 HTML 문서가 한 줄로 길게 붙어 있어서 가독성이 떨어지는 경우가 많습니다.
이때 .prettify() 메서드를 사용하면 태그 구조가 들여쓰기 된 상태로 출력되어 훨씬 보기 좋아집니다.
특히 디버깅 단계에서 문서의 구조를 한눈에 파악하기에 유용하며, 사람이 직접 HTML을 확인해야 하는 상황에서 큰 도움이 됩니다.

예를 들어, 특정 웹페이지를 BeautifulSoup으로 불러온 후 단순히 print(soup)을 하면 HTML 코드가 모두 한 줄로 이어져 출력될 수 있습니다.
하지만 print(soup.prettify())를 실행하면, 들여쓰기와 줄바꿈이 적용되어 트리 구조를 더 직관적으로 확인할 수 있습니다.
이는 파싱된 HTML이 어떻게 구조화되어 있는지를 빠르게 이해할 수 있게 해 줍니다.

from bs4 import BeautifulSoup

html = "<div><p>Hello</p></div>"
soup = BeautifulSoup(html, "html.parser")

print(soup.prettify())

위 코드를 실행하면 다음과 같은 결과를 얻습니다.

<div>
 <p>
  Hello
 </p>
</div>

📝 str(tag)로 직렬화하는 방법

BeautifulSoup 객체에서 특정 태그를 문자열로 변환하고 싶을 때는 파이썬 내장 함수 str()을 사용합니다.
이 방식은 사람이 보기 좋은 서식화 출력과는 달리, HTML 태그를 그대로 문자열 형태로 직렬화하여 돌려줍니다.
따라서 HTML을 파일에 저장하거나, 네트워크 요청에 포함시키는 등 실제 데이터 전송에 활용하기 적합합니다.

예를 들어, 아래와 같이 특정 <p> 태그를 선택한 뒤 str()을 적용하면, 해당 태그와 그 안의 내용을 그대로 문자열로 얻을 수 있습니다.

from bs4 import BeautifulSoup

html = "<div><p>Hello</p></div>"
soup = BeautifulSoup(html, "html.parser")

tag = soup.p
print(str(tag))

위 코드를 실행하면 다음과 같은 결과가 나옵니다.

<p>Hello</p>

즉, str(tag)는 HTML 태그와 내부 텍스트를 직렬화한 결과를 그대로 보여주기 때문에, 가공 후 저장이나 API 응답 데이터 생성 등 실제 로직에서 자주 사용됩니다.
이와 달리 .prettify()는 가독성 위주의 서식화 목적이라는 점을 구분해 두어야 합니다.

⚙️ encode로 원하는 인코딩 처리

HTML 데이터를 파일로 저장하거나 네트워크 전송 시에는 단순 문자열이 아닌 바이트 형태가 필요합니다.
이럴 때 BeautifulSoup 객체나 태그에 .encode() 메서드를 적용하면, 지정한 인코딩 방식에 따라 직렬화된 바이트 문자열을 얻을 수 있습니다.

기본적으로는 UTF-8이 많이 사용되며, formatter 옵션을 통해 HTML 엔티티 처리 방식도 제어할 수 있습니다.
예를 들어, formatter를 “html”로 지정하면 특수문자를 HTML 엔티티로 변환해 주고, “minimal”로 설정하면 불필요한 변환을 최소화합니다.

from bs4 import BeautifulSoup

html = "<div>3 < 5 & 7 > 2</div>"
soup = BeautifulSoup(html, "html.parser")

# 기본 UTF-8 인코딩
print(soup.encode("utf-8"))

# HTML 엔티티 변환 포함
print(soup.encode("utf-8", formatter="html"))

# 최소한의 변환만 적용
print(soup.encode("utf-8", formatter="minimal"))

출력 결과는 다음과 같이 달라질 수 있습니다.

b'<div>3 < 5 & 7 > 2</div>'
b'<div>3 &lt; 5 &amp; 7 &gt; 2</div>'
b'<div>3 < 5 & 7 > 2</div>'

📂 prettify str encode 차이점 비교

앞에서 살펴본 .prettify(), str(), .encode()는 모두 HTML을 다루는 기능이지만 목적과 결과물이 다릅니다.
혼동하지 않도록 각각의 차이를 명확히 이해하는 것이 중요합니다.

정리하면, .prettify()는 개발자가 HTML 구조를 보기 좋게 확인하기 위한 용도,
str()은 직렬화된 HTML 문자열을 얻는 용도,
.encode()는 인코딩된 바이트 문자열을 다루기 위한 용도입니다.

💡 실제 활용 예제와 응용법

이제 .prettify(), str(), .encode()의 차이를 이해했다면,
실제 크롤링 프로젝트에서 어떻게 활용할 수 있는지 살펴보겠습니다.
각 기능은 상황에 따라 적절히 조합하여 사용하면 효율적으로 데이터를 처리할 수 있습니다.

🛠️ 디버깅 단계에서 prettify 활용

크롤링을 하다 보면 원하는 태그가 제대로 파싱되지 않는 경우가 있습니다.
이럴 때 print(soup.prettify())를 사용해 HTML 구조를 들여쓰기 형태로 확인하면, 어떤 부분에서 문제가 발생했는지 쉽게 파악할 수 있습니다.

📑 데이터 저장 시 str() 사용

필요한 태그만 추출하여 HTML 파일로 저장하려는 경우 str()을 이용하는 것이 가장 적합합니다.
이렇게 하면 HTML 태그와 내용을 있는 그대로 문자열로 얻을 수 있으므로, 가공 후 파일에 기록하기 쉽습니다.

🌐 API 통신 시 encode 적용

만약 HTML 데이터를 네트워크 요청으로 전송해야 한다면 .encode(“utf-8”)을 적용해 바이트 문자열로 변환해야 합니다.
이 방식은 파일을 바이너리 모드로 저장할 때도 동일하게 쓰입니다.

• 🔎.prettify() → 디버깅과 구조 확인용
• 📝str() → HTML 문자열 직렬화
• ⚙️.encode() → 인코딩된 바이트 데이터 생성

❓ 자주 묻는 질문 (FAQ)