3장에서 가격과 주소 불러오는 코드에서 'HTTPError: HTTP Error 403: Forbidden' 에러

[jjjjunn]

price = []
address = []

for n in df.index[:3]:
html = urlopen(df['URL'][n])
soup_tmp = BeautifulSoup(html, 'lxml')

gettings = soup_tmp.find('p', 'addy').get_text()

price.append(gettings.split()[0][:-1])
address.append(' '.join(price_tmp.split()[1:-2]))

코드 입력할때 HTTPError: HTTP Error 403: Forbidden 오류가 떠서

상단에
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0'}
req = Request(df['URL'][n], headers=headers)
html = urlopen(req)

코드를 같이 넣어서 진행했는데도 여전히 오류가 뜹니다.
어떻게 해결해야 하나요?

[jjjjunn]

구글링과 챗gpt로 혼자서 사투를 벌일 끝에 해결했습니다.
만약 해당 에러가 발생하면 하단 코드를 복붙하여 해결하시면 됩니다.

첫번째 코드
pip install tqdm #상태 진행바 tqdm 모듈 설치(이것도 3장 진행 과정 중에 있으므로)

두번째 코드
pip install fake-useragent

세번째 코드

import re
from tqdm import tqdm # 상태 진행바 모듈 import
from urllib.error import HTTPError
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

price = []
address = []

for idx, row in tqdm(df.iterrows()): # tqdm : 진행률 보여줌
ua = UserAgent()

try:
    url = row["URL"]
    req = Request(url, headers={"user-agent": ua.ie})  # fake user-agent
    response = urlopen(req)

except HTTPError as e:
    price.append(None)
    address.append(None)
    print(e)  # HTTP Error 403: Forbidden
    continue

soup = BeautifulSoup(response, "html.parser")

try:
    detail = soup.find("em").text
    detail_parts = detail.split(",")  # 쉼표로 분리하여 리스트로 변환

    if re.search("\$\d+(\.\d+)?", detail_parts[0]):
        price.append(re.search("\$\d+(\.\d+)?", detail_parts[0]).group())
        address.append(detail_parts[0].split()[1:])  # 주소 추출

    else:
        price.append(None)
        address.append(None)

except AttributeError:
    price.append(None)
    address.append(None)