파이썬 BeautifulSoup 트리 네비게이션 parent children siblings 완벽 가이드

🔎 parent와 parents 차이 이해하기

HTML 문서는 트리 구조로 이루어져 있으며, BeautifulSoup은 이를 탐색할 수 있는 다양한 속성을 제공합니다.
그중 .parent와 .parents는 특정 요소의 상위 노드를 추적할 때 사용합니다.
하지만 이름이 비슷해서 헷갈리는 경우가 많습니다.
두 속성의 차이를 명확히 이해하면 원하는 데이터를 빠르게 찾을 수 있습니다.

🟢 parent: 한 단계 상위 요소

.parent 속성은 현재 선택한 태그의 바로 위 부모 요소 하나만 반환합니다.
즉, 특정 노드의 직계 부모만 확인할 수 있습니다.
예를 들어, <p> 태그 안의 <a>를 선택했을 때 a.parent는 <p>를 반환하게 됩니다.

from bs4 import BeautifulSoup

html = "<div><p><a href='#'>링크</a></p></div>"
soup = BeautifulSoup(html, "html.parser")

a_tag = soup.find("a")
print(a_tag.parent)  # <p>링크</p>

🟡 parents: 모든 상위 요소 탐색

.parents 속성은 해당 요소부터 최상위 루트까지의 모든 상위 요소를 반복(iterable) 형태로 반환합니다.
따라서 for 문을 사용해 전체 상위 구조를 순회할 수 있습니다.
이는 특정 태그가 문서 어디에 위치하는지 파악할 때 유용합니다.

for parent in a_tag.parents:
    print(parent.name)
# 출력 예시: p → div → body → html → [document]

🌱 children과 descendants 활용법

BeautifulSoup에서는 특정 태그 내부에 포함된 하위 요소들을 탐색할 때 .children과 .descendants 속성을 사용합니다.
두 속성은 유사하지만, 범위와 반환 방식에서 차이가 있습니다.
이를 명확히 이해하면 원하는 하위 요소를 효율적으로 추출할 수 있습니다.

🌿 children: 직계 자식 요소만 반환

.children 속성은 현재 태그의 바로 아래에 있는 자식 요소들만 반환합니다.
이는 제너레이터 형태이므로 리스트로 변환해 사용할 수도 있습니다.

html = "<div><p>첫째</p><p>둘째</p></div>"
soup = BeautifulSoup(html, "html.parser")

div_tag = soup.div
print(list(div_tag.children))
# 출력: [<p>첫째</p>, <p>둘째</p>]

🌳 descendants: 모든 하위 요소 탐색

.descendants 속성은 해당 태그 내부의 모든 하위 요소를 깊이 탐색하여 반환합니다.
즉, 자식뿐만 아니라 손자, 증손자 태그까지 포함됩니다.

html = "<div><p>첫째 <span>안쪽</span></p></div>"
soup = BeautifulSoup(html, "html.parser")

div_tag = soup.div
for child in div_tag.descendants:
    print(child)
# 출력: <p>, '첫째 ', <span>, '안쪽'

➡️ next_sibling으로 다음 요소 찾기

HTML 문서에서 같은 계층에 위치한 태그들을 순회해야 할 때는 .next_sibling 속성을 사용합니다.
이 속성은 현재 태그와 같은 부모를 가진 바로 다음 형제 요소를 반환합니다.
주로 리스트나 표 같은 반복 구조에서 특정 위치 이후의 데이터를 가져올 때 유용하게 활용됩니다.

➡️ 기본 사용 예제

html = "<ul><li>첫째</li><li>둘째</li><li>셋째</li></ul>"
soup = BeautifulSoup(html, "html.parser")

first_li = soup.find("li")
print(first_li.next_sibling)  
# 결과: <li>둘째</li>

위 예시처럼 첫 번째 <li> 태그에서 .next_sibling을 호출하면 두 번째 항목이 반환됩니다.
하지만 여기서 주의해야 할 점은, HTML 문서에는 줄바꿈이나 공백이 텍스트 노드로 인식될 수 있다는 점입니다.

⚠️ 주의할 점: 공백 처리

형제 노드 사이에 줄바꿈이 있을 경우, .next_sibling이 반환하는 값이 예상치 못한 공백 문자열일 수 있습니다.
따라서 실무에서는 .find_next_sibling() 메서드를 활용하는 것이 안전합니다.
이 메서드는 실제 태그 요소만 반환하기 때문에 크롤링 코드가 더 안정적으로 작동합니다.

second_li = first_li.find_next_sibling()
print(second_li.text)  # 출력: 둘째

⬅️ previous_sibling으로 이전 요소 접근

앞에서 .next_sibling을 통해 다음 형제 요소로 이동하는 방법을 배웠다면, .previous_sibling은 반대로 이전 형제 요소를 가져올 때 사용합니다.
두 속성은 쌍을 이루며 문서 내 요소들을 앞뒤로 탐색하는 데 매우 유용합니다.

⬅️ 기본 사용 예제

html = "<ul><li>첫째</li><li>둘째</li><li>셋째</li></ul>"
soup = BeautifulSoup(html, "html.parser")

third_li = soup.find_all("li")[2]
print(third_li.previous_sibling)  
# 결과: <li>둘째</li>

이처럼 마지막 항목에서 .previous_sibling을 호출하면 바로 앞에 있는 형제 요소가 반환됩니다.
리스트나 표에서 특정 항목 앞에 위치한 데이터를 가져올 때 유용하게 활용할 수 있습니다.

🛠️ find_previous_sibling으로 안전하게 접근

마찬가지로 .previous_sibling도 줄바꿈이나 공백 노드를 반환할 수 있습니다.
따라서 실제 태그 요소만 가져오고 싶다면 .find_previous_sibling() 메서드를 사용하는 것이 좋습니다.

second_li = third_li.find_previous_sibling()
print(second_li.text)  # 출력: 둘째

💡 BeautifulSoup 트리 탐색 실전 예제

앞에서 배운 .parent, .parents, .children, .descendants, .next_sibling, .previous_sibling 속성을 실제 웹 페이지 크롤링에 어떻게 적용할 수 있는지 예제를 통해 살펴보겠습니다.
이 과정에서는 HTML 문서의 구조를 탐색하는 기본 원리를 복습하고, 실무에서 데이터를 가져오는 구체적인 활용 방법을 확인할 수 있습니다.

📑 게시판 글 목록 크롤링

예를 들어, 온라인 게시판의 글 목록에서 제목, 작성자, 날짜를 추출한다고 가정해보겠습니다.
이 경우 .children과 .next_sibling 속성을 함께 활용하면 편리합니다.

html = """
<table>
  <tr><td>제목1</td><td>작성자A</td><td>2025-01-01</td></tr>
  <tr><td>제목2</td><td>작성자B</td><td>2025-01-02</td></tr>
</table>
"""
soup = BeautifulSoup(html, "html.parser")

for row in soup.find_all("tr"):
    title = row.find("td")
    author = title.find_next_sibling()
    date = author.find_next_sibling()
    print(title.text, author.text, date.text)

위 코드에서는 find_next_sibling()을 활용하여 같은 행(<tr>) 안의 데이터를 순차적으로 가져옵니다.
이 방식은 불필요한 인덱스 계산 없이 데이터를 직관적으로 추출할 수 있다는 장점이 있습니다.

📊 트리 구조 파악하기

복잡한 웹 페이지에서 특정 데이터의 위치를 파악하려면 .parents와 .descendants를 적극 활용하는 것이 좋습니다.
이 속성들을 통해 요소의 상하 관계를 쉽게 탐색할 수 있고, 원하는 데이터가 정확히 어떤 노드에 포함되어 있는지 파악할 수 있습니다.

span_tag = soup.find("span")
for parent in span_tag.parents:
    print(parent.name)

for child in soup.body.descendants:
    print(child)

❓ 자주 묻는 질문 (FAQ)