몇번의 클릭으로 웹페이지를 원하는데이터 형식으로 스크래핑 할 수있는 프로그램이다.    

https://www.octoparse.kr/

무료 버전만으로도 쓸만하니 한번 사용해보자. 

도움말 사이트에 가면 프로그램 소개와 사용 방법을 볼 수 있다.

https://intercom.help/octoparse/ko/

유튜버의 동영상 강의를 보면 좋겠다.

https://www.youtube.com/playlist?list=PLyKM6UFxdQNAV1FxUyCRzYeMeAtTxD_Pa

구글 아이디로 로그인하면 별도의 가입이필요없다. 

프로그램을 다운 받아서 설치한다.

프로그램을 실행 한 뒤에, URL입력 창에 URL을 입력하고 시작하면 된다.

자동으로 데이터 구조를 파악해서 데이터를 추출해준다. 

쿠팡에서 특정 제품을 검색해서 크롤링 해보자.

https://www.coupang.com/np/search?q=마이크로%20니들%20패치&page=1

https://www.coupang.com/np/search?q=%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%20%EB%8B%88%EB%93%A4%20%ED%8C%A8%EC%B9%98&page=1

여러페이지로 구성되어있다면, 아래처럼 해보자.  

신규 > 사용자 지정 작업 클릭 → "배치 생성"을 클릭

→ URL포멧에 아래를 입력

https://www.coupang.com/np/search?q=%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%20%EB%8B%88%EB%93%A4%20%ED%8C%A8%EC%B9%98&page=1

끝에 &page=뒤에 숫자 1을 지우고, URL입력 창 옆에 있는 "파라미더 추가"를 클릭한다.   

종료값에 27을 넣고 확인을 누른다. → 저장을 누른다. → 웹페이지를분석해서 데이터를 추출해준다. → 팁 창에서 "워크플로우 생성하기"버튼을 클릭한다.

필드에 추가 버튼을 클릭하고, "현재 날짜 및 시간"열을 추가해보자.

저장하고 실행을 누른다. "로컬 디바이스에서 실행 하기"의 "일반모드"를 눌러준다.