Stay Hungry Stay Foolish/웹 크롤링3 웹 크롤링) 네이버 인물정보 크롤링하기 웹 크롤링 혼자서 공부해봤습니다! 코드 공유합니다~네이버 인물정보 "재현"을 검색한 것을 url로 하여 앨범,공연 정보를 크롤링했습니다.BeautifulSoup을 활용했고, 아직 사진이랑 방송 정보는 크롤링하는 법을 모르겠습니다. 알려주세요 ㅜㅜ https://people.search.naver.com/search.naver?where=nexearch&query=%EC%9E%AC%ED%98%84&sm=tab_etc&ie=utf8&key=PeopleService&os=1691787 재현 :: 네이버 인물검색 people.search.naver.com 메인 코딩은 다음과 같습니다.메인 화면에는 5개의 앨범만 나왔고, 모든 앨범을 크롤링하려면 다음을 클릭하는 것도 포함해야합니다.저는 앨범 5개와 공연 5개를 .. 2021. 2. 10. 웹 크롤링) Selenium VS BeautifulSoup 라이브러리 비교 크롤링에는 대표적으로 두 가지 라이브러리를 사용한다. 차이를 알아보자. Selenium BeautifulSoup 웹 동작 html 정보 파싱 동적 크롤링을 효과적으로 수행 라이브러리 자체가 무겁고, 자주 막힌다 Requests와 BeatutifulSoup으로 최대한 해결하기 페이지 html 정보 가져오기 driver.page_source 웹동작시 driver.find_element_by_xpath('복사한 xpath') (.click(), .send_keys() 등) 스크립트 실행시 driver.execute_script('원하는 명령어') URL이나 xpath를 활용하는 경우에는 규칙을 찾아서 만들어두는 것이 작업 속도를 훨씬 높여준다. soup = BeautifulSoup(html,'lxml') so.. 2021. 2. 10. 웹 크롤링) BeautifulSoup으로 네이버 실시간검색어 크롤링하기 0. 들어가기전, 개념 소개 및 설치 웹 크롤링? 웹 상에 있는 원하는 정보를 수집 -> 스스로 데이터베이스 구축 가능 !!! BeautifulSoup 소스코드를 파싱하는 데 사용하는 라이브러리 BeautifulSoup은 html에서 원하는 정보를 빠르게 찾을 수 있다. ! pip install beatifulsoup4 form bs4 import BeautifulSoup BeautifulSoup 설치 후 requests 설치 url을 주면 html을 가지고 오는 모듈(urllib & requests) ! pip install requests import requests + Selenium 과 BeautifulSoup 라이브러리 정리해뒀습니다. https://rladuddms.tistory.com/64?.. 2021. 2. 10. 이전 1 다음
