selenium 차단 회피 시도해본 것 정리

기본적인 실행 방법은 여러 군데에 나와 있어서 그대로 실행하였다.

 

1. random user-agent

 

from fake_useragent import UserAgent

ua = UserAgent()

user_agent = ua.random

options.add_argument(f'user-agent={user_agent}')

 

 

2. option add

 

options.add_argument("no-sandbox")

options.add_argument("disable-gpu")

options.add_argument("--lang=ko_KR")

options.add_experimental_option("excludeSwitches", ["enable-logging"])

 

 

 

 3.  random ip

 

토르브라우저를 사용하여 해외 ip로 변경하여 크롤링 할 수 있다.

 

options.add_argument("--proxy-server=socks5://127.0.0.1:9150")

방법 : tor 설치 -> 브라우저 실행 -> 위의 옵션 코드를 추가하여 실행

 

(최종 ip로 크롤링하는 페이지에 접근하는 것이기에 최종 ip를 국내로 하면 해외 ip차단을 우회할 수 있다.

설치한 토르 폴더에서 torrc 파일을 찾아 중간에 

ExitNodes {KR}

추가

)

 

4. 크롤링 천천히 하기

현재 공부중인 방법으로 최대한 사람이 하는 것처럼 time.sleep을 중간중간두고 하루 일정 시간만 프로그램을 돌려서 차단을 피하는 방법이다.

ing~