YouTube 동영상 목록 크롤링이번 포스팅에서는 유튜브 목록을 크롤링하는 방법을 알아봅니다YouTube 동영상 목록의 특징유튜브의 특징은 스크롤바를 끝까지 내리면 밑 부분이 로딩이 된다.처음부터 모든것을 굳이 가지고 올 필요가 없기 때문에 먼저 일부만 가지고 오고 나중에 사용자가 요청하면 그때 읽어오는 원리인 것이다.물론 끝이 없는건아니다. 끝은 있다.따라서 YouTube 동영상목록을 가지고 오려면 먼저 스크롤을 끝까지 내린 다음에 가지고 와야한다.이 스크롤을 내리는데 Selenium 을 쓴다. Selenium을 이용한 크롤링execute_script('javascript')웹에서 자바스크립트 실행자바스크립트 코드가 결과를 만들어냄javascript methodwindow.scrollTo(width, ..

쿠팡(Coupang)검색결과 크롤링이번 포스팅에서는 쿠팡검색결과를 크롤링 하는 방법을 알아봅니다.www.coupang.com/np/search 크롤링을 위한 사전 세팅검색키워드 입력을 받는 keyword 설정keyword = input('검색키워드: ')params 및 header 설정- params와 headers는 딕셔너리 구조로 설정한다. params에는 받아올 값을 입력하고 headers에는 user-agent나 cookie같은 것을 입력한다.- user-agent는 F12(검사)에서 Network탭을 누른다음 Doc탭을 눌러서 볼 수 있다.- user-agent가 없으면 크롤링이 안될 수도 있으니 가급적 설정하도록 하자.params = { 'q' : keyword,}#User-Agent h..

네이버 OPEN-API를 이용하여 네이버 뉴스를 크롤링이전 포스팅에서 신청했던 네이버 OPEN-API를 이용하여 네이버 뉴스를 크롤링해보겠습니다.네이버 검색 API 호출 예제를 활용하였습니다.https://developers.naver.com/docs/search/blog/)네이버 Open-API  코드 세팅ID와 Password는 네이버 OPEN-API홈페이지에서 확인 가능합니다.id = pwd= url = 'https://openapi.naver.com/v1/search/news.json?query={}'검색할 키워드를 입력받습니다.import requestsimport pandas as pdfrom pprint import pprintkeyword = input('검색 키워드:')headers를 작..

이번 포스팅에서는 네이버 관련 서비스 크롤링을 위해 네이버 개발자 API에 가입하는 방법을 알아보겠습니다.메인화면https://developers.naver.com/main/Application > 애플리케이션 등록 (내 애플리케이션-등록된 것 확인)-Product > API 소개 : 네이버 개발자 API 가 제공하는 API 확인Open API 이용신청애플리케이션 등록 – 네이버 API를 사용할 App등록•어플리케이션이름: 아래 규칙에 맞게 적당히 넣는다•사용 API: 사용할 API 선택•검색 선택•사용환경•WEB 설정 선택•웹 서비스 url : 우리가 오픈 api를 사용할 site를 입력하는데 로컬환경에서 할 것이므로 http://localhost 를 입력Document – API 설명서•상단의 Doc..