728x90 beautifulsoup1 [Selenium] 크롬 디버그 모드로 크롤링 하기 Selenium 으로 instagram, google 등을 크롤링 하려다 보면, 봇으로 감지 되어 오래 못가 막히곤 한다. 방법을 찾던 중 크롬을 디버그 모드로 실행 후 크롤링을 진행하면 가능한 것으로 보여 기록을 남겨두려 한다. 1. 아래와 같은 명령어로 크롬을 디버그 모드로 실행한다. (mac OS 기준) /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222 --user-data-dir="~/ChromeProfile" 2. Python 에서 Selenium 실행 시 옵션을 추가한다. (experimental_option) from selenium import webdriver import p.. 2022. 2. 1. 이전 1 다음 728x90