조회8 Pandas - Null Data 처리방법 ( ffill, bfill, mean, interpolate 차이 그래프 비교 ) 머신러닝, 빅데이터 사용에 있어 데이터 전처리 과정은 필수 과정이다. 누락된 데이터는 없는지 데이터는 어떤 형태로 존재하고 있는지 면밀히 확인해야 `처리` 과정에서 문제를 사전에 차단할 수 있다. Null 처리는 전처리 과정에서 무엇보다 중요하다. Pandas 에서 null 데이터를 어떻게 처리하는지 알아보도록 한다. Pandas에서 처리하는 Null 데이터 - numpy.NaN, numpy.NaT, None Pandas에서는 numpy.inf ( infinity ), '' (empty string)은 Null이 아닌것으로 취급한다. 개발 환경 - Python 3.9 - Pandas 1.2.0 테스트 DataFrame 준비 df = pd.DataFrame(dict(age=[np.NaN, np.NaN, 6.. 2021. 3. 5. Python( mariaDB, MySql ) - DB접속, 데이터 조회/변경 하기 ( Pandas DataFrame -> DB -> DataFrame ) 회아래 DataFrame 객체를 mariaDB API와 Pandas API를 사용하여 Insert, Select하여 사용법을 비교해본다. df.tail(5) codeOpenHighLowCloseVolume Date 2021-02-16005930169001750016400165004405229 2021-02-17005930164501645015650157503048389 2021-02-18005930156001590015100151502039271 2021-02-19005930151501560014650152502114635 2021-02-2200593015250156001515015400625018 Library 설치 pip install pandas pip install mariadb # mariadb.. 2021. 2. 22. Python - 상장법인 종목코드 초간단 스크래핑(코스피, 코스닥 구분) 기업공시채널 KIND에서 상장법인목록을 스크래핑 한다. "상장법인목록" 메뉴를 보면 검색조건에 "유가증권", "코스닥" 라디오 버튼이 위치하고 오른쪽 하단에 "EXCEL"버튼을 확인 할 수있다. 엑셀 버튼 클릭 시 시장구분 조건을 달리 하여 조회하면 POST 폼 데이터가 바뀌는 것을 확인 할 수있다. (크롬 개발자 도구의 Network 탭 에서 확인 ) 폼 데이터의 "marketType" 파라미터 이름으로 코스피(유가증권)는 "stockMkt", 코스닥은 "kosdaqMkt"로 구분된다. 수동으로 엑셀버튼을 다운로드 하여 노트패드 등에서 열어보면 엑셀이 아닌 HTML로 구성된 것을 확인 할 수있다. Pandas는 많은 임포트 기능을 지원하는데 온라인에 html을 읽어 바로 Dataframe형태로 변환 할.. 2021. 2. 19. python - 다트.전자공시 Open API 활용(4), 공시대상회사 조회 - 대화형 콘솔 만들기 전자공시 Open API 활용(3), 공시대상회사 추출 및 가공 에서 추출한 데이터를 활용하여 간단한 대화형 콘솔을 만들어 보고 확장하여 선택한 회사 고유코드로 DART에서 제공하는 API를 호출 해보도록 한다. 관련 포스트 시리즈 python - 다트.전자공시 Open API 활용(1), 전체 상장사(고유코드) 조회 - HTTP로 얻은 Stream zip파일 읽기 python - 다트.전자공시 Open API 활용(2), 기업개황 응답데이터 JSON 핸들링( JSON 기초 ) python - 다트.전자공시 Open API 활용(3), 공시대상회사 추출 및 가공 ( xml to dict - xmltodict library) 전자공시 Open API 활용(5), 기업 재무제표 조회 API ( 분기/반기/사.. 2020. 3. 7. 이전 1 2 다음
