AI와 데이터 기초2 - 4일차인터렉티브 시각화(plotly)인터렉티브 시각화란마우스 움직임에 따라 실시간으로 모양이 변하는 그래프그래프를 자유롭게 조작하면서 관심 부분을 자세히 살펴볼 수 있음HTML 포맷으로 저장하면 일반 사용자도 웹 브라우저에서 그래프 조작이 가능인터렉티브 시각화를 지원하는 라이브러리import plotlyplotly 라이브러리인터렉티브 시각화를 지원하는 라이브러리JavaScript 기반 시각화 라이브러리마우스를 차트에 올려놓으면 툴팁처럼 실제 데이터 값을 확인할 수 있음그래프를 확대/축소 가능함HTML로 변환하여 웹 상에서도 확인 가능함약 40여종의 차트를 지원함plotly를 활용하여 그래프를 그리는 방법graph_objects 모듈을 사용하는 방법그래프를 세세하게 구성할 때 사용..

AI와 데이터 기초2 - 3일차반정형 데이터 수집(JSON)공공데이터 종류정형데이터(structured data)미리 정해 놓은 형식과 구조에 따라 저장된 데이터예 : 관계형 데이터베이스의 테이블, 스프레드시트, CSV 등반정형데이터(semi-structured data)일정한 규칙의 고정된 필드에 저장되어 있지 않지만 데이터의 구조 정보를 데이터와 함께 제공하는 데이터예 : XML, HTML, JSON, 웹문서, 웹로그 등JSON이란Json(JavaScript Object Notation)자바 스크립트 언어로 구조화된 문자 기반 표준 포맷파이썬의 딕셔너리와 리스트를 중첩한 것과 비슷JSON과 Python 변환JSON 라이브러리 선언import jsonJSON(문자열)과 Python 객체(Dictiona..

AI와 데이터 기초2 - 2일차numpy 이해와 자료구조numpy란넘파이(numpy)수치 연산, 과학 연산을 위한 파이썬 외부 라이브러리복잡한 연산을 수행하는 데이터분석, 시각화, 머신러닝 등의 작업에 필수벡터, 행렬 등의 자료구조 및 연산 지원제공하는 기능들통계 함수 : 최대, 최소, 평균, 중간값, 분산, 표준편차, n분위수수학 함수 : 삼각함수, 로그함수 등벡터 및 행렬 연산 : 행렬의 곱, 역행렬, 전치행렬(array라는 이름을 제공)공학 수학, 선형대수학 등numpy의 장점데이터를 생성할 수 있다특정 패턴의 수열, 랜덤 수, 특정 분포에 근거한 데이터, 수학 함수 데이터(삼각 함수 등)많은 데이터를 쉽고 빠르게 처리할 수 있다.리스트로 하는 것보다 수행 속도가 훨씬 빠름코드도 훨씬 빠름복잡한 연..

AI와 데이터 기초2 - 1일차지도 시각화GeoJson위치 정보를 기반으로 지형을 표현하기 위해 설계된 개방형 공개 표준 형식행정구역과 같은 경계선이나 경로를 표현하는데 활용위치 정보가 (경도, 위도, (고도)) 순서로 저장됨구글앱이나 OSM에서는 (위도, 경도) 순으로 저장됨확장자 : *.json, *.geojson웹 또는 모바일에서 데이터 시각화 가능다른 포맷에 비해 위치 데이터 용량이 적음단계 구분도단계 구분도(Choropleth Map)지역별간의 분포 차이 및 통계치를 색깔이나 그라이데이션으로 구분하여 표현한 지도수치적인 데이터를 색상으로 단계적으로 표현한 지도GeoJson과 단계구분도를 이용한 시각화 순서folium을 활용하여 Map 그리기GeoJson으로 행정구역 경계 확인하기Choroplet..

AI와 데이터 기초1 - 5일차텍스트 시각화워드클라우드(WordCloud)텍스트에서 단어들을 분석하여 인기도 및 중요도에 따라 글자 색상, 크기 및 굵기의 형태로 시각적 이미지로 표현하는 것인기도 및 중요도는 빈도수로 표현될 수 있음WordCloud 준비하기설치하기pip install wordcloud코랩(colab)에는 이미 설치되어 있으라이브러리 선언WordCloud는 matplotlib 라이브러리를 기반으로 하고 있으므로 함께 선언import matplotlib.pyplot as plt라이브러리 설치 및 한글 폰트 설치자연어 처리를 위한 라이브러리 설치하기pip install konlpyColab 한글 폰트 설치!sudo apt-get install -y fonts-nanum !sudo fc-cac..

AI와 데이터 기초1 - 4일차데이터 시각화데이터 시각화의 정의사람의 시각 및 이해도사람은 긴 글보다 요약된 내용을 선호글자보다 임팩트 있는 시각 요소에 집중데이터 원자료나 통계표는 수많은 숫자와 문자로 구성됨으로 내용 파악이 어려움데이터 시각화일반적인 데이터를 차트, 그래프, 지도와 같이 이해하기 쉬운 시각적 요소로 표현하는 것많은 양의 데이터를 빠르게 분석데이터를 시각화하는 이유많은 양의 데이터를 빠르게 분석할 수 있음시각 요소르 통해 데이터를 명확히 전달할 수 있음추세와 경향성이 쉽게 드러나 이해가 쉬움새로운 패턴을 발견하기도 함항목간의 관계를 발견할 수 있음데이터에 숨어 있는 트렌드를 찾아낼 수 있음상황에 맞는 차트 선택 방법막대 차트 (Bar Chart)데이터의 트랜드를 파악할 때 유용데이터의 ..

AI와 데이터 기초1 - 3일차데이터의 정보 확인데이터 읽어오기import pandas as pd데이터 관리와 정제 기능을 가진 라이브러리.CSV 데이터 읽어오기변수명 = pd.read_csv('파일경로명', encoding='인코딩방식')","로 분리된 .csv 파일을 불러올 때delimiter 옵션은 새략하면 "," 로 인식인코딩 방식 : 'EUC_KR'(한글이 포함된 일반적인 경우)/'cp949'(MS office에서 저장한 파일 형식)변수명 = pd.read_excel('파일경로명').xlsx 파일을 불러올 때데이터 정보 확인하기데이터 정보 보기변수명.shape : 행과 열의 개수 확인변수명.info() : 데이터 타입, 각 아이템 개수, 누락데이터 수 등 확인변수명.describe(include..

AI와 데이터 기초1 - 2일차데이터 종류와 구조빅데이터 종류정형데이터(structured data)미리 정해 놓은 형식과 구조에 따라 저장된 데이터예 : 관계형 데이터베이스의 테이블, 스프레드시트, CSV 등반정형데이터(semi-structured data)일정한 규칙의 고정된 필드에 저장되어 있지 않지만 데이터의 구조 정보를 데이터와 함께 제공하는 데이터예 : XML, HTML, JSON, 웹문서, 웹로그 등비정형데이터(unstructured data)정의된 구조가 없이 데이터 자체만으로 내용에 대한 질의 처리를 할 수 없는 데이터예 : 소셜 데이터, 텍스트 문서, 동영상/이미지/음성 데이터, 문서(PDF) 등(정형)데이터 구조데이터(표)는 행(row)와 열(colum)로 구성행(row): 하나의 단..