web3 python - 웹 크롤링 예제 ( Requests & BeautifulSoup ) 들어가며.. 비정형 데이터인 웹페이지 데이터를 수집하기 위해 Python진영에는 BeautifulSoup이라는 강력한 라이브러리가 존재한다. 이를 사용하여 어떻게 웹 스크래핑을 하는지 간단히 살펴보도록 한다. 목적 데이터를 자동화 프로그램을 통해 수집, 가공하는 행위를 "스크래핑" 혹은 "크롤링" 이라한다. (웹 크롤링은 자동화된 시스템에 의해 최신의 정보를 수집, 가공하는 조직화된 시스템으로 해당 의미에서 스크래핑과는 약간의 의미 차이가 있다.) 1. Library install - Anaconda( https://www.anaconda.com/distribution/#download-section ) 가 설치 되어있거나 pip 패키지를 사용할 수 있는 환경 - Requests & BeautifulSo.. 2022. 4. 22. Spring boot, URI 쉽게 만들기 ( with UriComponentsBuilder ) 들어가며.. 스크래핑, 웹 인증등 타겟 URI 정보를 파라미터와 함께 보낼 때 많은 수의 파라미터로 인해 코드가 길어질 수있다. 본 블로그에서는 카카오 OpenAPI를 통해 인증토큰을 받아오는 과정의 예를 들어 URI 생성하는 방법을 다루어본다. 고전적인 방식(String, StringBuffer)을 사용해보고 SpringBoot web 패키지에서 제공하는 개선된 방식( UriComponentsBuilder)을 사용해 본다. 개발환경 - Springboot 2.4.5 build.gradle plugins { id 'org.springframework.boot' version '2.4.5' id 'io.spring.dependency-management' version '1.0.11.RELEASE' id .. 2021. 5. 3. Flutter - Web setup 환경 실행 오류 ( ArgumentError: Invalid argument(s): Cannot find executable for where. ) Flutter 웹 환경으로 실행 하기 위해 CMD에서 flutter devices를 확인하는 도중 아래와 같은 오류 발생. ArgumentError: Invalid argument(s): Cannot find executable for where. 환경변수에 system32가 등록되어 있지 않았다. 다행이 Flutter에서 오류 발생 시 해당 오류가 github community에 등록되었다는 경고메세지를 출력한다. 아래는 해당오류 github 이슈 페이지이다. https://github.com/flutter/flutter/issues/14887 환경변수 등록 후 flutter devices 명령이 정상적으로 처리 되었다. 2020. 3. 10. 이전 1 다음
