파이썬 BeautifulSoup과 urllib.parse.urljoin으로 안전한 링크 절대 경로 처리 방법

🌐 base URL과 상대경로 이해하기

웹페이지에서 링크는 크게 두 가지 방식으로 표시됩니다.
첫 번째는 절대경로로, 도메인과 경로가 모두 포함된 완전한 URL입니다.
예를 들어 https://example.com/page/article.html과 같은 형태죠.
두 번째는 상대경로로, 현재 문서의 위치를 기준으로 이동하는 방식입니다.
대표적으로 /page/article.html 혹은 ../images/img.png 같은 링크가 이에 해당합니다.

상대경로는 웹사이트 내부 구조를 기준으로 동작하기 때문에, 웹 브라우저는 HTML 문서의 위치와 상대경로를 합쳐 최종적으로 접근 가능한 절대경로를 만듭니다.
하지만 크롤링을 할 때는 브라우저처럼 자동 변환이 되지 않기 때문에 개발자가 직접 base URL과 상대경로를 올바르게 합쳐야 합니다.
그렇지 않으면 데이터 수집 과정에서 링크 누락이나 잘못된 요청이 발생할 수 있습니다.

📌 base URL이 중요한 이유

웹사이트는 같은 서버 내에서 여러 페이지를 연결할 때 상대경로를 자주 사용합니다.
특히, 대규모 뉴스 사이트나 쇼핑몰의 상품 상세 페이지에서는 수천 개의 내부 링크가 상대경로로만 제공되는 경우도 있습니다.
이때 base URL을 기준으로 링크를 절대경로로 변환하지 않으면 외부 접근이 불가능해지고, 크롤러는 데이터 수집에 실패할 수밖에 없습니다.

• 🌍절대경로는 도메인까지 포함된 완전한 주소
• 📂상대경로는 현재 문서를 기준으로 이동
• ⚡웹 크롤링 시 반드시 base URL과 결합 필요

💬 상대경로를 절대경로로 변환하는 것은 웹 크롤러가 브라우저처럼 동작하게 만드는 핵심 과정입니다.

🛠️ urllib.parse.urljoin의 기본 원리

파이썬에서는 urllib.parse 모듈의 urljoin() 함수를 사용해 base URL과 상대경로를 결합할 수 있습니다.
이 함수는 단순한 문자열 덧붙이기가 아니라, 웹 브라우저의 동작 방식을 모방해 경로를 자동으로 계산합니다.
즉, 개발자가 일일이 디렉토리 이동 규칙을 신경 쓰지 않아도 올바른 절대경로를 반환해줍니다.

예를 들어 base URL이 https://example.com/articles/이고 상대경로가 page.html이라면, urljoin은 두 값을 결합해 https://example.com/articles/page.html을 반환합니다.
반대로 상대경로가 ../index.html이라면 상위 폴더로 이동해 https://example.com/index.html을 결과로 내놓습니다.

📌 urljoin 동작 규칙

urljoin은 단순히 문자열을 합치는 것이 아니라, 다음과 같은 규칙에 따라 결과를 반환합니다.

from urllib.parse import urljoin

base = "https://example.com/articles/"
link1 = "page.html"
link2 = "../index.html"

print(urljoin(base, link1))  # https://example.com/articles/page.html
print(urljoin(base, link2))  # https://example.com/index.html

이처럼 urljoin()은 다양한 상황에서 경로를 정확히 계산해 주기 때문에, 크롤링 과정에서 상대경로를 절대경로로 변환하는 가장 안전한 방법이라 할 수 있습니다.

📖 BeautifulSoup과 함께 쓰는 방법

웹 크롤링에서 가장 널리 사용되는 라이브러리 중 하나가 BeautifulSoup입니다.
이 도구는 HTML 문서를 파싱하여 원하는 태그를 손쉽게 추출할 수 있도록 도와줍니다.
하지만 추출한 링크가 상대경로일 경우, 그대로 사용하면 올바른 요청을 보낼 수 없습니다.
따라서 BeautifulSoup으로 얻은 링크에 urljoin()을 결합하는 것이 필수적입니다.

예를 들어 뉴스 사이트의 기사 목록에서 <a> 태그를 모두 추출했다고 가정해봅시다.
대부분의 경우 href 속성은 상대경로로 되어 있을 가능성이 큽니다.
이때 urljoin을 적용하면 모든 링크를 클릭 가능한 절대경로로 변환할 수 있어, 크롤러가 안정적으로 작동하게 됩니다.

📌 BeautifulSoup과 urljoin 실전 예시

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

base_url = "https://example.com/news/"
response = requests.get(base_url)
soup = BeautifulSoup(response.text, "html.parser")

for a_tag in soup.find_all("a"):
    href = a_tag.get("href")
    absolute_url = urljoin(base_url, href)
    print(absolute_url)

위 코드에서 각 a 태그의 링크가 상대경로라 하더라도, urljoin이 base URL과 결합해 완전한 절대경로를 만들어 줍니다.
덕분에 크롤러는 실제 브라우저처럼 동작할 수 있고, 누락 없이 모든 링크를 탐색할 수 있습니다.

⚠️ 잘못된 URL 결합 시 발생하는 문제

웹 크롤링에서 가장 흔히 발생하는 오류 중 하나는 링크 결합을 잘못 처리했을 때 생깁니다.
특히 단순히 문자열을 더해 절대경로를 만든다면, 의도치 않은 잘못된 URL이 생성될 수 있습니다.
이 문제는 단순한 코드 오류를 넘어, 잘못된 페이지를 수집하거나 서버에 불필요한 요청을 보내는 결과로 이어질 수 있습니다.

예를 들어 base URL이 https://example.com/articles/일 때, 문자열 덧붙이기로 ../index.html을 처리하면 https://example.com/articles/../index.html과 같이 이상한 경로가 됩니다.
반면 urljoin()은 자동으로 상위 디렉토리를 인식해 https://example.com/index.html을 반환하므로, 크롤링 오류를 예방할 수 있습니다.

📌 잘못된 결합으로 생기는 대표적인 문제

• 🚫존재하지 않는 경로를 요청하여 404 Not Found 발생
• 🔄중복된 슬래시나 디렉토리 오류로 인해 중복 데이터 수집
• ⚡잘못된 링크 크롤링으로 인해 불필요한 서버 부하 초래
• 📉결과적으로 데이터 정합성이 깨지고, 분석 결과가 왜곡됨

💡 실무 활용 팁과 코드 예시

실무에서 BeautifulSoup과 urljoin()을 함께 사용하면 상대경로 문제를 깔끔하게 해결할 수 있습니다.
특히 다수의 링크를 처리할 때는 단순히 URL을 추출하는 것에 그치지 않고, 반드시 절대경로 변환 단계를 거쳐야 크롤링 결과를 신뢰할 수 있습니다.

또한 수집 과정에서 중복된 링크나 외부 링크가 섞일 수 있는데, 이를 걸러내기 위해 조건문을 함께 사용하는 것이 좋습니다.
예를 들어 특정 도메인으로 시작하는 링크만 수집하거나, 이미지 및 다운로드 링크를 제외하는 방식으로 데이터 품질을 높일 수 있습니다.

📌 크롤링 품질을 높이는 실전 코드

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

base_url = "https://example.com/blog/"
response = requests.get(base_url)
soup = BeautifulSoup(response.text, "html.parser")

valid_links = []
for a in soup.find_all("a", href=True):
    absolute = urljoin(base_url, a["href"])
    # 특정 도메인 필터링
    if absolute.startswith(base_url):
        valid_links.append(absolute)

print(valid_links)

위 예시에서는 urljoin()을 활용해 모든 상대경로를 절대경로로 변환한 후, 해당 도메인으로 시작하는 링크만 수집하도록 조건을 걸었습니다.
이렇게 하면 불필요한 외부 링크를 차단하고, 크롤링한 데이터의 정확도를 높일 수 있습니다.

❓ 자주 묻는 질문 (FAQ)