파이썬 BeautifulSoup4 웹크롤링 관련 질문
조회수 109회
네이버 검색결과에 있는 View탭의 제목을 가져오는 웹크롤링을 실습하는데 가져오는 클래스가 잘못 된 것인지 []로 표시되면서 데이터가 안가져와지네요 ㅠㅠ
혹시 어떤 이유 때문인지 선배님들께 의견 여쭙습니다.
from bs4 import BeautifulSoup
import requests
base_url = "https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query="
keyword = input("검색어를 입력하세요 : ")
search_url = base_url + keyword
r = requests.get(search_url)
soup = BeautifulSoup(r.text, "html.parser")
items = soup.select(".api_txt_lines total_tit._cross_trigger")
print(items)
1 답변
-
실제 네이버 검색 결과 페이지에 셀렉터
.api_txt_lines total_tit._cross_trigger로 선택되는 뇨솤이 없어요.브라우저로 네이버 검색결과 페이지에 접속해서 개발자도구를 열어보면 원인을 대에충 알 수 있습니다.
만약 셀렉터가 뭔지 모른다면 이 문서를 보세요.
.api_txt_lines total_tit._cross_trigger이 것은
api_txt_lines클래스를 갖고 있는 태그를 모두 찾아서 그 자손 중 태그 이름이total_tit이며_cross_trigger클래스가 있는 태그를 모두 찾으라는 의미입니다.
댓글 입력