User-Agent 이슈로 크롤링 해결 사이트에서 봇에 의한 크롤링을 막는 경우가 종종 있다. 크롤링을 자주 하게 되면 그만큼 서버의 리소스를 먹게 되는 것이니.. 크롤링에서 종종 이슈가 되는 부분인데, 이런 경우에는 request를 호출할 때 Header 값에 User-Agent 값을 넣어서 요하면 해결할 수 있다. User-Agent 값은 웹 브라우저에서 확인할 수 있다. 개발자도구 오픈(F12) Console 창 클릭 navigator.userAgent 입력 위에서 확인한 User-Agent 값을 request에 헤더값으로 같이 전송한다. headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K..