전체 글 146

크롤링이 안 되는 경우 (User-Agent)

User-Agent 이슈로 크롤링 해결 사이트에서 봇에 의한 크롤링을 막는 경우가 종종 있다. 크롤링을 자주 하게 되면 그만큼 서버의 리소스를 먹게 되는 것이니.. 크롤링에서 종종 이슈가 되는 부분인데, 이런 경우에는 request를 호출할 때 Header 값에 User-Agent 값을 넣어서 요하면 해결할 수 있다. User-Agent 값은 웹 브라우저에서 확인할 수 있다. 개발자도구 오픈(F12) Console 창 클릭 navigator.userAgent 입력 위에서 확인한 User-Agent 값을 request에 헤더값으로 같이 전송한다. headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K..

Data Analysis 2022.04.30

OCR을 이용한 이미지 텍스트로 읽기

OCR을 이용해서 이미지를 텍스트로 읽기 OCR, Optical Character Recognition 이란 약자로 광학 문자 인식이고, 문자의 영상을 이미지 스캐너로 획득하여 기계가 읽을 수 있는 문자로 변환하는 것이다. 아래는 tesseract-ocr 오픈소스 참고 https://github.com/tesseract-ocr/tesseract GitHub - tesseract-ocr/tesseract: Tesseract Open Source OCR Engine (main repository) Tesseract Open Source OCR Engine (main repository) - GitHub - tesseract-ocr/tesseract: Tesseract Open Source OCR Engine..

카테고리 없음 2022.04.29

Dockerized sonarqube 버전 업그레이드 및 DB 백업

기존에 작성한 docker-compose.yml 파일에서 sonarqube 이미지를 수정해준다. 원래는 community 버전이었지만 developer edition으로 라이선스도 구매했기 때문에 아래와 같이 image를 변경한다. services: sonarqube: image: sonarqube:9.3-developer ports: - '9000:9000' ulimits: nofiles: soft: '262144' hard: '262144' networks: - sonarnet container_name: sonarqube environment: - sonar.jdbc.url=jdbc:postgresql://postgres:5432/sonar - sonar.jdbc.username=sonar - so..

DevOps/Docker 2022.04.26

gradle could not find method compile() 오류

gradle 버전이 업그레이드 되면서 compile, testCompile이 deprecated 되었다고 한다. implementation, testImplementation으로 사용해야 함 https://docs.gradle.org/4.10/userguide/java_plugin.html#sec:java_plugin_and_dependency_management The Java Plugin The Java plugin adds a number of dependency configurations to your project, as shown below. It assigns those configurations to tasks such as compileJava and test. compile(Deprec..

DevOps 2022.04.15

PyAutoGUI를 통한 마우스 키보드 자동화

PyAutoGUI를 통한 마우스 키보드 자동화 PyAutoGUI 패키지를 통해 마우스, 키보드를 컨트롤하거나 스크린샷을 찍는 등의 자동화를 할 수 있다. 샘플코드 import pyautogui screenWidth, screenHeight = pyautogui.size() # Get the size of the primary monitor. screenWidth, screenHeight currentMouseX, currentMouseY = pyautogui.position() # Get the XY position of the mouse. currentMouseX, currentMouseY pyautogui.moveTo(100, 150) # Move the mouse to XY coordinates. ..

Programming/Python 2022.03.21

구글링 Tips

구글링 팁 두개 이상 키워드로 검색 - and / or 사용 특정 단어만 기억나지 않을 때 검색 - * 로 대체하여 검색 파일타입 지정 검색 - 키워드 filetype:pdf 기간 설정 검색 - 2020..2021 특정 키워드 제외해서 검색 - 키워드1 - 키워드2 키워드 제목으로 검색 - intitle: 키워드 특정 사이트에서만 검색 - site: https://naver.com 반드시 포함된 키워드로 검색 - "키워드"

카테고리 없음 2021.11.28

플러터(Flutter) 스터디 6주차

Udemy 플러터 강의 6주차 ㄴ Section 14. Bitcoin Ticker https://www.udemy.com/course/flutter-bootcamp-with-dart/ 이번 강의에서는 coin API를 호출하여 코인 가격 정보를 가져온 뒤, 각 나라의 화폐 단위로 출력해주는 앱을 구축하는 과정을 설명한다. 강의내용요약 Flutter DropdownButton iOS-style Cupertino Dart Loops 소스코드 coin_data.dart coin api 호출 map 형태로 각 코인에 대한 가격 정보 가져오는 변수 response json 데이터에 rate 값에 필요한 정보가 있음 import 'dart:convert'; // json 파싱 import 'package:http/..

Programming/Flutter 2021.11.13

플러터(Flutter) 스터디 5주차

Udemy 플러터 강의 5주차 ㄴ Section 13. Clima - Powering Your Flutter App with Live Web Data https://www.udemy.com/course/flutter-bootcamp-with-dart/ 이번 강의에서는 geolocator package를 이용해서 위도, 경도에 대한 위치 정보를 가져온 뒤, API를 이용하여 해당 위치(또는 도시)의 날씨 정보를 가져오는 앱을 구축하는 과정에 대해 설명한다. 강의내용요약 Flutter geolocator Package Stateful Widget Lifecycle http Package Passing Data Backwards Through the Navigation Stack Dart Futures, As..

Programming/Flutter 2021.11.07

플러터 스터디 3주차

Udemy 강의범위 섹션9 섹션10 섹션11 Flutter Packages: https://pub.dartlang.org/flutter Page 1 | Top Flutter packages Pub is the package manager for the Dart programming language, containing reusable libraries & packages for Flutter, AngularDart, and general Dart programs. pub.dev 패키지는 pubspec.yaml 파일 dependencies 항목에 패키지명을 추가하고 main.dart에서 import해서 사용하면 됨 Caret syntax Caret syntax is a compact way of expre..

Programming/Flutter 2021.10.30

오픈소스 소프트웨어(OSS)

오픈소스 소프트웨어(Open Source Software, OSS)는 소스코드가 공개되어 누구나 자유롭게 사용할 수 있는 오픈소스 라이선스를 만족하는 소프트웨어를 말한다. 오픈소스는 무료가 아닌 소스코드의 자유로운 사용을 의미하며, 모든 오픈소스 소프트웨어는 저작권자만 해당 소프트웨어에 대한 독점 사용권리를 갖고 있다. 최근 몇 년간 수많은 기업에서 오픈소스를 활용하고 있으며, 이는 비용 절감, 기술 확보, 인재 확보 등 다양한 이점이 있다. 오픈소스 사용 비중이 높아짐에 따라 이에 대한 관리의 중요성도 높아지고 있으며, 오픈소스를 사용할 때는 저작권, 라이선스 규정 등을 반드시 준수해야만 한다. 오픈소스 라이선스의 주요 의무사항은 오픈소스를 사용하면 해당 오픈소스의 출처와 원저작자를 밝혀야 한다. 그리..

카테고리 없음 2021.10.27