웹 스크래핑 독학 중인,, 초렙이 질문합니다 '-',,

조회수 931회

네이버웹툰 만화 -> 신혼일기 -> 15화 제목을 가져와 보려고 하기와 같이 코드를 작성했습니다만

주피터 노트북에서 run 했을 때 [ ] 라고만 나옵니다 ㅠㅠ 어떻게 해야 할까요??

import requests from bs4 import BeautifulSoup as bs

url = "https://comic.naver.com/webtoon/list?titleId=812354" rsp = requests.get(url, verify=False) rsp.raise_for_status()

soup = bs(rsp.text, "lxml")

print(soup.find_all("span", attrs={"class": "EpisodeListList__title--lfIzU"}))

1 답변

  • 저도 BeautifulSoup로 해도 안되길래 인터넷 검색해서 동적 웹 스크래핑 <= 이 블로그 참조해서 Selenium으로 사용해서 해봤습니다..

    # 웹 브라우저와 연동을 위해
    from selenium import webdriver
    # Chrome 객체의 인자로 넣기 위해
    from selenium.webdriver.chrome.service import Service
    # 사용중인 Chrome version과의 싱크를 맞추기 위해
    from webdriver_manager.chrome import ChromeDriverManager
    from selenium.webdriver.common.by import By
    
    # Selenium을 활용하여 조작하기 위해서 driver 객체 생성
    # 해당 명령을 통해 웹 브라우저를 실행하고 파이썬과 연동할 수 있음
    with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
        # .get(url)을 활용해 요청을 보낼 수 있음
        driver.get("https://comic.naver.com/webtoon/list?titleId=812354")
    
        # 최대 10초까지 기다리는데, 중간에 응답이 오면 다음 명령어를 수행
        driver.implicitly_wait(10)
    
        print(driver.find_element(By.XPATH, '//*[@id="content"]/div[3]/ul/li[5]/a/div[2]/p/span').text)
    

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)