알로그

User-Agent 이슈로 크롤링 해결 사이트에서 봇에 의한 크롤링을 막는 경우가 종종 있다. 크롤링을 자주 하게 되면 그만큼 서버의 리소스를 먹게 되는 것이니.. 크롤링에서 종종 이슈가 되는 부분인데, 이런 경우에는 request를 호출할 때 Header 값에 User-Agent 값을 넣어서 요하면 해결할 수 있다. User-Agent 값은 웹 브라우저에서 확인할 수 있다. 개발자도구 오픈(F12) Console 창 클릭 navigator.userAgent 입력 위에서 확인한 User-Agent 값을 request에 헤더값으로 같이 전송한다. headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K..

파이썬을 이용한 머신러닝 강의를 듣던 중 내용을 정리해봄 우선 데이터 분석을 하기 위해서 자주 사용되는 패키지들을 모아놓은 아나콘다를 설치하자. 설치 링크: https://www.anaconda.com/products/individual conda create -n ML_study python=3.6 numpy=1.16.4 pandas matplotlib scikit-learn=0.20 scipy=1.1 pillow numpy 과학 계산을 하기 위해 필요한 패키지 다차원 배열을 위한 기능과 선형 대수 연산 제공 반복문 필요없이 전체 데이터 배열에 대해 빠른 연산 및 표준 수학 함수 제공 난수 생성기 기능 제공 ndarray 객체 생성방법: numpy.array(object, dtype, copy, ord..

파이썬에 내장되어 있는 sqlite3 모듈을 사용해보자. 기본적인 CRUD(Create, Read, Update, Delete)정도만 사용해봐도 될 것 같고, 나머지는 sql 쿼리를 공부하면 더 다양한 문법들을 사용할 수 있다. 코딩을 하기에 앞서 sqlite 데이터베이스에 값이 정상적으로 들어갔는지 확인하기 위해 'DB browser for SQLite'를 설치하자. sqlitebrowser.org/dl/ Downloads - DB Browser for SQLite (Please consider sponsoring us on Patreon 😄) Windows Our latest release (3.12.1) for Windows: Windows PortableApp There is a PortableA..

엑셀 테이블 작업을 하다가 빈 셀에 특정 값을 한번에 입력해야 하는 경우가 종종 있다. 나는 빈 값을 다 0으로 치환하고 싶었는데, 이를 위한 방법을 작성한다. 위에 비어있는 값에 0으로 한번에 채워보자. 1. 'Ctrl + A'를 선택해서 테이블 전체 영역 잡아주기 2. 엑셀 상단 홈 > 편집 > 찾기 및 선택 > 이동옵션 클릭 3. 이동옵션에서 빈 셀 선택 후 확인 4. 0을 입력 한 뒤, 'Ctrl + Enter' 를 입력한다. 5. 결과는 아래와 같다.

파이썬 openpyxl 파이썬 openpyxl을 이용하여 엑셀 차트를 그려보자. 기본적인 사용방법은 이전 포스팅 자료를 참고하면 좋을 것 같다. 2020/11/11 - [Data Analysis] - 파이썬 openpyxl 모듈 사용 파이썬 openpyxl 모듈 사용 파이썬으로 엑셀 자동화 작업하는 경우가 많은데, 잊지 않기 위해 기록해봄 파이썬 엑셀 관련 패키지들은 다양하게 있지만 최근에 openpyxl로 많이 쓰는 추세인듯.. 우선 파일을 작성하는 방법은 hungc.tistory.com append 함수를 이용하여 리스트 형태의 값을 한 번에 입력하는 것을 보여주고 있으며, 이를 바 차트로 그린 소스코드이다. 자세한 내용은 아래 소스코드와 주석을 참조하자. 소스코드 import openpyxl fro..