본문 바로가기
Stay Hungry Stay Foolish/웹 크롤링

웹 크롤링) 네이버 인물정보 크롤링하기

by HANNI하니 2021. 2. 10.

웹 크롤링 혼자서 공부해봤습니다! 코드 공유합니다~

네이버 인물정보 "재현"을 검색한 것을 url로 하여 앨범,공연 정보를 크롤링했습니다.

BeautifulSoup을 활용했고, 아직 사진이랑 방송 정보는 크롤링하는 법을 모르겠습니다. 알려주세요 ㅜㅜ

 

https://people.search.naver.com/search.naver?where=nexearch&query=%EC%9E%AC%ED%98%84&sm=tab_etc&ie=utf8&key=PeopleService&os=1691787

 

재현 :: 네이버 인물검색

 

people.search.naver.com

 

 

 

메인 코딩은 다음과 같습니다.

메인 화면에는 5개의 앨범만 나왔고, 모든 앨범을 크롤링하려면 다음을 클릭하는 것도 포함해야합니다.

저는 앨범 5개와 공연 5개를 뽑았고, 리스트로 한번에 묶어서 만들고 난 후 인덱싱하여 분리했습니다.

title은 앨범명, sub_title은 가수명, data는 날짜인데 공연은 가수명과 날짜 대신 위치만 나와있어서 csv로 내보낼때 칼럼명을 다르게 지정해줬습니다.

 

 

추가로 총 작품 건수도 출력해봤습니다.

 

Crawling practice.ipynb
0.18MB

 

 

 


 

 

+ 네이버 실시간 검색어 크롤링한 포스팅입니다.

https://rladuddms.tistory.com/63?category=921467

웹 크롤링) BeautifulSoup으로 네이버 실시간검색어 크롤링하기

0. 들어가기전, 개념 소개 및 설치 웹 크롤링? 웹 상에 있는 원하는 정보를 수집 -> 스스로 데이터베이스 구축 가능 !!! BeautifulSoup 소스코드를 파싱하는 데 사용하는 라이브러리 BeautifulSoup은 html에

rladuddms.tistory.com

 

+ Selenium과 BeautifulSoup 라이브러리 비교한 포스팅입니다.

https://rladuddms.tistory.com/64?category=921467

웹 크롤링) Selenium VS BeautifulSoup 라이브러리 비교

크롤링에는 대표적으로 두 가지 라이브러리를 사용한다. 차이를 알아보자. Selenium BeautifulSoup 웹 동작 html 정보 파싱 동적 크롤링을 효과적으로 수행 라이브러리 자체가 무겁고, 자주 막힌다 Reques

rladuddms.tistory.com

 

댓글