자유게시판

Image crawling 관련 예제 python 코드
2023. 8. 2 (수) 14:39 goingdol 조회 42 좋아요 0 스크랩 0 댓글 0

안녕하세요.

머신러닝 training위해서 custom dataset을 만들어야 하는데요. 이럴때 본인이 목적하는 training위한 image를 많이 모아야 됩니다.

그래서 image crawling하는 코드를 찾아보게 되었습니다. 찾아보면 image crawling관련 설명 site와 youtube동영상이 많이 있습니다.

한번 찾아보시고 해보시면 좋을것 같습니다. 저는 아래 site를 참고했습니다.

 

https://intelloper.tistory.com/55

그런데  위의 site에 설명이 되어 있듯이 아래 내용을 주지해야 합니다. 

 

"크롬 웹드라이버는 본인의PC Chrome 브라우저 버전에 맞게 다운로드 받아야 합니다. 이 코드를 실행하기 위해서는 Selenium, urllib 모듈이 설치되어 있어야 합니다. 또한, 이 코드는 구글 이미지 검색 페이지의 HTML 구조나 클래스 이름이 바뀌면 작동하지 않을 수 있습니다."

 

저는 XPATH부분을 CSS_SELECTOR로 바꿔서 했고, 제 PC경우 chrome browser버전이 115버전이어서 chromedriver.exe 115버전을 다운로드해서 사용했습니다.  반드시 본인 PC의 chrome browser의 버전에 맞는 driver를 사용해야 정상동작 합니다. 코드는 아래 github를 참고하세요.

https://github.com/goingdol/yolov8_example

 

Image crawling관련 코드는 get_image.py이고 chromedriver.zip(115버전용)이니 본인PC chrome browser 버전에 맞는것을 사용하시기 바랍니다. (imgs 서브폴더를 미리 만들어 놓으세요.)

동영상 보시고 어떻게 동작하는지 참고하시면 좋을듯 합니다. 혹시 더 좋은 방법이 있으면 공유 부탁 드려요. !!

 

로그인 후
참가 상태를 확인할 수 있습니다.