NodeJS & Selenium으로 구글 이미지 크롤링

NodeJS & Selenium으로 구글 이미지 크롤링

개인 플젝하면서 AI학습데이터를 위해 이미지가 필요한 일이 생겼다.

내가 주로 애용하는 언어는 Nodejs라서 한참 구글링해서 nodejs로 크롤링하는 예제들을 찾아봤으나
내가 찾은건 google custom search api를 이용해 하는 방법 뿐이었다.
이 방법의 단점은 하루에 100건이상 API를 이용시 돈을 지불해야한다!!

그래서 Selenium으로 긁어오자라고 생각했고, 다시 Selenium으로 검색했으나
역시 파이썬에서 유명한 Selenium이라 그런지 파이썬으로 클롤링하는 예제는 많았지만
(파이썬은 그냥 설치해도되지만 일반적으로 버전관리 위해서 pyenv 설치하고 등등... 이거 한 번 쓰려고 설치하고하기 귀찮기에...)

아쉽게도 Nodejs로 크롤링하는 예제는 구글링, 깃허브, 스택오버플로우 다 찾아봐도 찾지 못했다...

---

이렇게된거 그냥 내가 만들어버렸다.

---

https://github.com/ppojun/nodejs_google_image_crawling_selenium

나처럼 NodeJS로 주로 개발을하며, Python 설치가 귀찮은 분들은 위 링크들어가서 이용하면된다.

<2022.02.22 AKA 콩Day, 문제없이 잘 돌아가는거 확인 완료!>