몇번의 클릭으로 웹페이지를 원하는데이터 형식으로 스크래핑 할 수있는 프로그램이다.
https://www.octoparse.kr/
무료 버전만으로도 쓸만하니 한번 사용해보자.
도움말 사이트에 가면 프로그램 소개와 사용 방법을 볼 수 있다.
https://intercom.help/octoparse/ko/
유튜버의 동영상 강의를 보면 좋겠다.
https://www.youtube.com/playlist?list=PLyKM6UFxdQNAV1FxUyCRzYeMeAtTxD_Pa
구글 아이디로 로그인하면 별도의 가입이필요없다.
프로그램을 다운 받아서 설치한다.
프로그램을 실행 한 뒤에, URL입력 창에 URL을 입력하고 시작하면 된다.
자동으로 데이터 구조를 파악해서 데이터를 추출해준다.
쿠팡에서 특정 제품을 검색해서 크롤링 해보자.
https://www.coupang.com/np/search?q=마이크로%20니들%20패치&page=1
https://www.coupang.com/np/search?q=%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%20%EB%8B%88%EB%93%A4%20%ED%8C%A8%EC%B9%98&page=1
여러페이지로 구성되어있다면, 아래처럼 해보자.
신규 > 사용자 지정 작업 클릭 → "배치 생성"을 클릭
→ URL포멧에 아래를 입력
https://www.coupang.com/np/search?q=%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%20%EB%8B%88%EB%93%A4%20%ED%8C%A8%EC%B9%98&page=1
끝에 &page=뒤에 숫자 1을 지우고, URL입력 창 옆에 있는 "파라미더 추가"를 클릭한다.
종료값에 27을 넣고 확인을 누른다. → 저장을 누른다. → 웹페이지를분석해서 데이터를 추출해준다. → 팁 창에서 "워크플로우 생성하기"버튼을 클릭한다.
필드에 추가 버튼을 클릭하고, "현재 날짜 및 시간"열을 추가해보자.
저장하고 실행을 누른다. "로컬 디바이스에서 실행 하기"의 "일반모드"를 눌러준다.