Python으로 웹 스크래핑 시작하기: 완벽 가이드

1. 웹 스크래핑이란?

웹 스크래핑(Web Scraping)은 자동화된 프로그램을 이용하여 웹사이트에서 데이터를 추출하는 기술입니다. 뉴스 기사, 주식 정보, 제품 가격 등 다양한 데이터를 수집하는 데 활용됩니다.

2. 웹 스크래핑을 위한 필수 도구

Python에서는 여러 라이브러리를 사용하여 웹 스크래핑을 수행할 수 있습니다.

2.1. 필수 라이브러리

• Requests: 웹 페이지의 HTML을 가져오는 라이브러리
• BeautifulSoup: HTML을 파싱하고 원하는 데이터 추출
• Selenium: 동적인 웹사이트를 스크래핑할 때 사용
• Scrapy: 대규모 데이터 크롤링을 위한 프레임워크

2.2. 설치 방법

pip install requests beautifulsoup4 selenium scrapy

3. Requests와 BeautifulSoup을 이용한 기본 웹 스크래핑

3.1. 웹 페이지 요청하기

import requests

url = "https://example.com"
response = requests.get(url)
print(response.text)  # HTML 코드 출력

3.2. BeautifulSoup을 활용한 데이터 추출

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "html.parser")
title = soup.find("title").text
print("페이지 제목:", title)

3.3. 특정 요소 가져오기

paragraphs = soup.find_all("p")
for p in paragraphs:
    print(p.text)

4. Selenium을 이용한 동적 웹사이트 크롤링

4.1. Selenium 설정 및 사용법

from selenium import webdriver
from selenium.webdriver.common.by import By

# 웹드라이버 설정 (Chrome 기준)
driver = webdriver.Chrome()
driver.get("https://example.com")

# 특정 요소 가져오기
element = driver.find_element(By.TAG_NAME, "h1")
print("페이지 제목:", element.text)

driver.quit()

4.2. 버튼 클릭 및 입력값 조작

search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python 웹 스크래핑")
search_box.submit()

5. Scrapy를 활용한 대규모 크롤링

5.1. Scrapy 프로젝트 생성

scrapy startproject my_scraper

5.2. Scrapy 스파이더 작성

import scrapy

class MySpider(scrapy.Spider):
    name = "my_spider"
    start_urls = ["https://example.com"]

    def parse(self, response):
        for title in response.css("h1::text").getall():
            yield {"title": title}

5.3. 크롤링 실행

scrapy crawl my_spider

6. 웹 스크래핑의 법적 및 윤리적 고려사항

• Robots.txt 확인: 사이트의 robots.txt 파일을 확인하여 크롤링 정책을 준수
• 과도한 요청 금지: 서버 부하를 줄이기 위해 요청 간격을 조절
• 개인정보 보호: 민감한 데이터는 저장하지 않도록 주의

7. 결론

Python을 활용한 웹 스크래핑은 다양한 분야에서 활용될 수 있습니다. Requests, BeautifulSoup, Selenium, Scrapy 등의 라이브러리를 적절히 사용하면 효과적인 데이터 수집이 가능합니다.