본문 바로가기

반응형
SMALL

빅데이터분석기사필기

[빅데이터분석기사 필기 요약] [빅분기 4과목 요약] IV. 빅데이터 결과 해석 - 요약 (2) [빅데이터분석기사 필기 4과목] IV. 빅데이터 결과 해석 02. 분석 결과 해석 및 활용 데이터 시각화 (Data Visualization) 데이터에 대한 이해를 돕기 위해, 그림/도형 등의 그래픽 요소들을 이용하여 데이터를 묘사/표현 기하/도형 양식을 이용하여, 데이터 특징을 설명할 수 있는 모양으로 만든다 데이터 시각화 기능: 설명/ 탐색/ 표현데이터 시각화 목적: 정보전달/ 설득데이터 시각화 절차- 설명: 분석 결과를 설명사용자가 주제에 대해 더 잘 이해!① 구조화- 탐색: 숨겨진 관계/패턴 찾음- 정보 전달 (실용적/과학적 측면)② 시각화- 표현: 이야기 전달/표현/공감- 설득 (추상적/예술적 측면)③ 시각표현 데이터 시각화 유형: 시간/ 분포/ 관계/ 비교/ 공간 시각화 시간 시각화분포 시각화.. 더보기
[빅데이터분석기사 필기 요약] [빅분기 4과목 요약] IV. 빅데이터 결과 해석 - 요약 (1) [빅데이터분석기사 필기 4과목] IV. 빅데이터 결과 해석 01. 분석 모형 평가 및 개선 분석모형 평가기준: 일반화 가능성/ 효율성/ 예측과 분류의 정확성 일반화 가능성효율성예측과 분류의 정확성데이터를 확장하여 적용할 수 있는가 (안정적인 결과를 제공하는가)적은 입력변수가 필요할수록 효율성이 높은 것으로 평가함정확성 측면에서 평가함 모형 평가지표 회귀 모형 (예측 모형) 평가지표분류 모형 평가지표- 실제값/ 예측값/ 평균값 - 오차제곱합 SSE - 전체제곱합 SST - 회귀제곱합 SSR - 결정계수 R² = SSR / SST (and 수정된 결정계수) - Mallow's Cp- 혼동 행렬 Confusion Matrix - 정확도/ 민감도/ 정밀도/ F1-score - ROC Curve - AUC (Ar.. 더보기
[빅데이터분석기사 필기 요약] [빅분기 3과목 요약] III. 빅데이터 모델링 - 요약 (3) 빅데이터분석기사 필기 3과목] III. 빅데이터 모델링 02. 분석기법 적용 - [2] 고급 분석기법 범주형 자료분석: 종속변수가 1개&범주형인 데이터를 분석하여, 모형&독립변수의 유의성을 알아보는 분석방법 독립변수(X)가 범주형 독립변수(X)가 연속형 분할표분석/ 카이제곱검정/ 피셔정확검정 로지스틱회귀분석 분할표 분석 (Contingency Table): 행-독립/ 열-종속/ 주변합-마지막 행열에 총계 승산비: 특정 조건이 있을 때의 성공승산을, 다른 조건이 있을 때의 성공승산으로 나눈 값 상대위험도 (RR; Relative Risk) 승산비(Odds Ratio) = 교차비 = 대응위험도 비교집단 위험률 대비, 관심집단 위험률 승산 = p / (1-p) = (특정 사건 발생 확률) / (발생하지 않을 .. 더보기
[빅데이터분석기사 필기 요약] [빅분기 3과목 요약] III. 빅데이터 모델링 - 요약 (2) [빅데이터분석기사 필기 3과목] III. 빅데이터 모델링 02. 분석기법 적용 - [1] 분석기법 회귀분석: 1개 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계기법 변수들 사이의 인과관계를 밝히고 모형을 적합하여, 관심있는 변수를 예측/추론하기 위한 분석방법 회귀모형 가정 회귀모형 검증 선형성 독립변수-종속변수 관계 선형 통계적 유의미 F-통계량, p-value 독립성 잔차-독립변수 값 관계없음 회귀계수 유의미 T-통계량, p-value, 신뢰구간 등분산성 오차들의 분산 일정 모형의 설명력 결정계수(R²) 비상관성 오차들끼리 상관없음 모형이 데이터를 적합 잔차 그래프 정상성 오차항이 정규분포 이룸 데이터가 가정 만족 5개 가정 편차 vs. 오차 vs. 잔차 편차 Deviation 오차.. 더보기
[빅데이터분석기사 필기 요약] [빅분기 3과목 요약] III. 빅데이터 모델링 - 요약 (1) [빅데이터분석기사 필기 3과목] III. 빅데이터 모델링 01. 분석 모형 설계 모델(모형): 객체/시스템/개념에 대한 구조/작업을 보여주기 위한 패턴/계획/설명 - 탐색적 데이터 분석: 현상에서 패턴을 발견 - 통계적 추론: 현상에서 결론을 도출 - 기계 학습 (머신러닝): 현상을 예측 빅데이터 분석 모형: 통계/ 데이터마이닝/ 머신러닝 기반 통계 기반 분석모형: 기술통계/ 상관분석/ 회귀분석/ 분산분석/ 주성분분석/ 판별분석 데이터마이닝 기반 분석모형: 분류/ 예측/ 군집화/ 연관규칙 분석 머신러닝 기반 분석모형: 지도학습/ 비지도학습 통계 기반 분석모형 데이터마이닝 기반 분석모형 머신러닝 기반 분석모형 기술통계 분포 특징 파악 분류 Classification 지도학습 정답 포함/ 예측 상관분석 단순.. 더보기
[빅데이터분석기사 필기 요약] [빅분기 2과목 요약] II. 빅데이터 탐색 - 요약 (2) [빅데이터분석기사 필기 2과목] II. 빅데이터 탐색 02. 데이터 탐색 데이터 탐색: 데이터 분석 전, 그래프/통계적 방법으로 다양한 각도에서 데이터 특징 파악&직관적으로 보는 분석방법 탐색적 데이터 분석(EDA)의 4가지 주제: 저항성/ 잔차해석/ 자료재표현/ 현시성 (Four R's) 저항성 잔차 해석 자료 재표현 현시성 Resistance Residuals Re-expression Representation 이상값에 영향 적게 받음 주 경향으로부터 벗어난 정도 적당한 척도로 바꾸는 것 쉽게 이해할 수 있도록 시각화 개별 변수/ 다차원 데이터 탐색 방법 범주형 (질적) 수치형 (양적) 범주형-범주형 수치형-수치형 범주형-수치형 - 명목척도&순위척도 - 빈도수/ 최빈값/ 비율 - 막대형 그래프 - 등.. 더보기

반응형
LIST