[Python]파이썬 웹크롤링 마스터하기: 실전 가이드와 팁 모음

웹크롤링은 인터넷상의 정보를 수집하는 프로세스로, python은 이를 위한 강력한 도구로 자리매김하고 있습니다. 이번 포스팅에서는 파이썬을 사용하여 웹크롤링하는 방법을 알아보겠습니다.

≣ 목차

• 웹크롤링의 이해🤖
• BeautifulSoup을 이용한 웹페이지 파싱🌐
• 이미지 파일 다운로드🖥️
• 웹페이지 내 이미지 한꺼번에 다운로드🗃️
• 주의사항🕵️‍♂️
• 핵심 내용👀

---

1. 웹크롤링의 이해🤖

웹크롤링은 웹페이지의 정보를 가져오는 것으로, HTTP 요청을 통해 웹페이지의 소스코드를 가져옵니다. 'requests' 패키지를 사용하여 간단한 웹페이지의 정보를 가져오는 방법을 살펴보겠습니다.

import requests  # requests 모듈을 가져옵니다. 이 모듈은 HTTP 요청을 보내는 기능을 제공합니다.

url = 'https://www.naver.com/'  # 크롤링할 웹페이지의 URL 주소를 변수에 저장합니다.
response = requests.get(url)  # 지정한 URL로 GET 요청을 보내고, 응답을 받아옵니다.
print(response.text)  # 응답 객체의 텍스트 속성을 출력하여 웹페이지의 HTML 소스코드를 확인합니다.

---

2. BeautifulSoup을 활용한 웹페이지 파싱🌐

BeautifulSoup 라이브러리를 사용하면 HTML 문서를 파싱 하여 원하는 정보를 추출할 수 있습니다.

• find() 메서드 : 웹페이지의 특정 태그 찾기
• find_all() 메서드 : 모든 태그 찾기

from bs4 import BeautifulSoup  # BeautifulSoup 모듈을 가져옵니다. 이 모듈은 HTML을 파싱하여 원하는 정보를 추출하는 기능을 제공합니다.

html = '''
<div>
    <a href="https://www.naver.com">네이버</a>  <!-- 네이버 링크 -->
    <a href="https://www.kakao.com">카카오</a>  <!-- 카카오 링크 -->
</div>
'''
soup = BeautifulSoup(html, 'html.parser')  # BeautifulSoup 객체를 생성하고, HTML을 파싱하여 구조화된 형태로 저장합니다.
print(soup.find('a').text)  # 첫 번째 링크의 텍스트를 출력합니다.
print(soup.find_all('a'))   # 모든 링크 태그를 리스트 형태로 반환합니다.

아래는 다음 뉴스에서 뉴스 제목을 크롤링하는 예시 코드입니다.

import requests  # requests 모듈을 가져옵니다. 이 모듈은 HTTP 요청을 보내는 기능을 제공합니다.
from bs4 import BeautifulSoup  # BeautifulSoup 모듈을 가져옵니다. 이 모듈은 HTML을 파싱하여 원하는 정보를 추출하는 기능을 제공합니다.

url = 'https://news.daum.net/'  # 크롤링할 다음 뉴스의 URL 주소를 변수에 저장합니다.
response = requests.get(url)  # 지정한 URL로 GET 요청을 보내고, 응답을 받아옵니다.
html = response.text  # 응답 객체의 텍스트 속성을 변수에 저장합니다.
soup = BeautifulSoup(html, 'html.parser')  # BeautifulSoup 객체를 생성하고, HTML을 파싱하여 구조화된 형태로 저장합니다.

result = soup.find_all('strong', class_='tit_g')  # HTML 소스코드에서 strong 태그 중 class 속성이 'tit_g'인 요소를 모두 찾습니다.
# print(result)  # 결과를 리스트 형태로 출력합니다.
for i in result:
    print(i.text.strip())  # 결과에서 공백을 제거하고, 텍스트만을 출력합니다.

---

3. 이미지 파일 다운로드🖥️

웹페이지에서 이미지 파일을 다운로드하여 저장하는 방법을 살펴봅시다. 'requests'를 사용하여 이미지 파일을 변수에 저장하고, 이를 파일로 저장합니다.

import requests 

image_url = 'https://example.com/image.jpg'  # 다운로드할 이미지의 URL 주소를 변수에 저장합니다.
imgdata = requests.get(image_url)  # 지정한 URL로 GET 요청을 보내고, 이미지 데이터를 응답으로 받아옵니다.

with open('image.jpg', 'wb') as f:  # 'image.jpg'라는 이름의 파일을 바이너리 쓰기 모드로 엽니다.
    f.write(imgdata.content)  # 응답에서 받아온 이미지 데이터를 파일에 씁니다.

---

4. 웹페이지 내 이미지 한꺼번에 다운로드🗃️

이번에는 여러 이미지 파일을 한꺼번에 다운로드하는 방법을 알아보겠습니다. 이미지 태그를 찾아 URL을 추출하고, 이를 활용하여 이미지 파일을 다운로드합니다.

import requests 
from bs4 import BeautifulSoup  

url = 'https://example.com/page-with-images'  # 이미지가 있는 웹페이지의 URL 주소를 변수에 저장합니다.
response = requests.get(url)  # 지정한 URL로 GET 요청을 보내고, 응답을 받아옵니다.
html = response.text  # 응답 객체의 텍스트 속성을 변수에 저장합니다.
soup = BeautifulSoup(html, 'html.parser')  # BeautifulSoup 객체를 생성하고, HTML을 파싱하여 구조화된 형태로 저장합니다.

for img_tag in soup.find_all('img'):  # HTML 소스코드에서 모든 이미지 태그를 찾습니다.
    img_url = img_tag.get('src')  # 각 이미지 태그에서 src 속성을 추출하여 이미지의 URL을 가져옵니다.
    img_data = requests.get(img_url)  # 이미지의 URL로 GET 요청을 보내고, 이미지 데이터를 응답으로 받아옵니다.

    with open('downloaded_images/' + img_url.split('/')[-1], 'wb') as f:  # 이미지를 저장할 파일을 바이너리 쓰기 모드로 엽니다.
        f.write(img_data.content)  # 응답에서 받아온 이미지 데이터를 파일에 씁니다.

크롤링한 데이터를 파일로 저장하거나 데이터를 가공하여 분석하는 것도 중요합니다. 예를 들어, 크롤링한 데이터를 CSV파일로 저장하거나 데이터베이스에 저장할 수 있습니다. 또한 데이터를 정제하고 가공하여 분석에 활용할 수 있습니다. 이 부분에 대해 조금 더 알고 싶다면 아래 포스팅을 참고해 주세요😁

[Python]파이썬으로 CSV와 JSON 파일 다루기: 입출력 가이드

---

5. 주의사항🕵️‍♂️

크롤링을 할 때에는 다음과 같은 법적 측면과 에티켓을 준수해야 합니다.

1. 로봇 배제 프로토콜(robots.txt) 준수
   • 로봇 배제 프로토콜(robots.txt)을 확인하여 크롤러가 접근 가능한 경로와 제한된 경로를 사용해야 합니다.
   • 웹사이트가 로봇 배제 프로토콜을 제공한다면 이를 준수해야 합니다.
2. 웹사이트 이용 약관 준수
   • 크롤링을 할 때에는 해당 웹사이트의 이용 약관을 준수해야 합니다.
   • 웹사이트의 이용 약관에 명시된 제한사항을 지키는 것이 중요합니다.
3. 적절한 요청 빈도
   • 너무 자주 요청을 보내지 않도록 주의해야 합니다.
   • 서버에 부하를 주지 않도록 적절한 요청 빈도를 유지해야 합니다.

---

6. 핵심 내용👀