태태개발일지 - ADSP 2 데이터 분석 기획 총정리

데이터 분석 기획

 

분석 기획의 특징

분석기획

실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 작업

 

데이터 사이언티스트의 역량

수학/통계학적 지식, 정보기술, 비지니스에 대한 이해와 전문성 필요

 

분석에 가장 중요한 요소

DATA + Analytics Model + Analyst + Value

 

분석 기획 구분 

1. 분석 과제 발굴(단기)
2. 분석 마스터 플랜(중장기)

 

분석 대상과 방법에 따른 분석 주제

 

		what(무엇을)
		known	un-known
how(어떻게)	known	Optimization(최적화)	Insight(통찰)
	un-known	Solution(솔루션)	Discovery(발견)

 

 

목표 시점별 분석 기획방안 2가지

분석과제 단기

1. 당면한 분석 주제의 해결
2. speed & test
3. quick-win
4. problem solving

 

분석 마스터 플랜

1. 지속적 분석 문화 내재화
2. Accuarcy & deploy
3. long term view
4. problem Definition

 

분석 기획시 고려사항

가용할 데이터에 대한 고려 필요

 

데이터유형	정의	형태	연산	저장	수집난이도	필요기술	예
정형데이터	고정된 필드	O	O	RDB	낮다	SQL	rdb.스트레드시트,csv
반정형데이터	센서에서 스트리밍되는 머신 데이터	O	X	파일	중간	파싱기술	XML,HTML,웹로그
비정형데이터	형태가 정해져있지 않은 데이터	X	X	NO SQL	높다	파싱기술, 텍스트마이닝	SNS,email,보고서,이미지

 

 

분석을 통해서 가치가 창출될 수 있는 적절한 활용 방안과 활용 가능한 유즈케이스 탐색이 필요

 

 

분석 과제 수행을 위한 장애요소에 대한 사전 계획 수립 필요

 

 

분석 방법론

1. 산출물 및 템플릿
2. 절차 
3. 방법
4. 기법과 도구

 

기업의 합리적 의사 결정 장애도구

1. 고정관념
2. 편향된 생각
3. 프레이밍 효과 

문제의 표현 방식에 따라 동일한 사건이나 상황임에도 불구하고 개인의 판단이나 선택이 달라지는 현상

 

방법론 적용 업무의 특정에 따른 모델 3가지

 

폭포수형 모델(하향식 방법)

요구사항 분석 -> 설계 -> 구현 -> 테스팅 -> 유지보수

 

하향식 방법

단계를 순차적으로 진행하는 방법으로, 이전 단계가 완료되어야 다음단계로 진행가능함.
문제나 개선사항이 발견되면 전 단계로 돌아가는 피드백 과정을 수행하기도 함

 

 

프로토타입 모델(상향식)

 

상향식 방법

사용자가 요구사항이나 데이터를정확하게 규정하기 어렵고, 데이터 소스도 명확하게 파악하기 어려운 상황에서 일단 분석을 시도해보고, 그 결과를 확인해 보면서, 점진적으로 개선하는 방법

 

시제품을 만들고 평가한뒤, 보완하는 시행착오 과정을 여러번 반복

폭포수 모델의 단점 보완

 

 

나선형 모델(상향식)

처음에 시도하는 프로젝트에 적용 용이

작은 규모에서 반복을 통해 점차 늘려가는 방식

반복에 관한 관리 체계를 효과적으로 갖추지 못한 경우 규모가 커질수록 복잡도가 상승하여 프로젝트 진행이 어려움

 

 

세가지 방법론

1. KDD 분석 방법론
2. CRISP-DM 분석 방법론
3. 빅데이터 분석 방법론

 

KDD - 데이터에서 패턴을 찾는 과정

데이터 셋 선택

비즈니스 도메인에 대한 이해와 프로젝트 목표를 정확하게 설정하는 단계

데이터 웨어하우스에서 데이터 마이닝에 필요한 목표데이터를 구성

 

데이터 전처리

데이터 셋에 포함되어있는 잡음, 이상값, 결측치를 식별하고, 필요시 제거하거나 의미있는 데이터로 처리하는 데이터 셋 정제 단계

 

데이터 변환

분석 목적에 맞는 변수를 선택하거나, 데이터 차원을 축소하여 데이터 마이닝을 효율적으로 적용할 수 있도록 데이터셋을 변경하는 프로세스

전체 데이터를 학습용 데이터와 검증용 데이터로 분리하는 과정 (HOLD-OUT 홀드아웃)

 

데이터 마이닝 = 기계학습(머신러닝)

분석 목적에 맞는 데이터 마이닝 기법을 선택하고, 데이터 마이닝 알고리즘을 선택하여 데이터의 패턴을 찾거나 데이터를 분류하고 예측하는 마이닝 작업을 시행하는 단계

 

데이터 마이닝 결과 평과

데이터 마이닝 결과를 해석하고, 분석 목적과의 일치성을 확인하여 평가하는 단계, 발견한 지식을 업무에 활용할 수 있는 방안을 찾는 단계

 

Crisp-dm 분석 4단계 6단계 프로세스

단계

일반화 테스크 포함

 

일반화 테스크

데이터 마이닝의 단일 프로세스를 완전하게 수행하는 단위

 

세분화 테스크

일반화 테스크를 구체적으로 수행하는 레벨

 

프로세스 실행

데이터 마이닝을 위한 구체적인 실행을 포함

 

Crisp-dm 6단계 프로세스

업무이해 

비지니스 관점에서 프로젝트의 목적과 요구사항을 이해하는 단계

업무목적파악, 상황파악, 데이터마이닝 목표설정, 프로젝트 계획 수립

 

데이터 이해

분석을 위한 데이터를 수집하고, 데이터의 속성을 이해하는 과정

초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 데이터 품질확인

 

데이터 준비

수집된 데이터에서 분석기법에 적합한 데이터셋을 편성하는 단계

KDD 방식의 전처리 + 데이터 변환 과정과 유사

많은 시간소요

분석용 데이터셋 선택, 데이터 정제, 데이터 통합, 데이터 포멧팅, 분석용 데이터셋 편성

 

모델링

모델링 기법과 알고리즘을 선택하고, 모델링 과정에서 사용되는 파라미터를 최적화해 나가는 단계

데이터 셋이 추가로 필요하다면, 데이터 준비단계를 반복수행 할 수있음

KDD방식의 데이터 마이닝과정과 유사함

모델링 기법선택, 모델 테스트 계획설계, 모델 작성, 모델 평가

 

평가

모델이 프로젝트 목적에 부합하는 지를 평가

데이터 마이닝 결과를 수용할 것인지 최종적으로 판단

분석 결과 평과, 모델 적용성 평가, 모델링 과정 평가

 

전개

전개 계획수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료 보고서 작성, 프로젝트리뷰

 

빅데이터 분석 방법론 3계층 5계층

단계

최상위 계층으로, 프로세스 그룹을 통하여 완성된 단계별 산출물 생성

여러개의 테스크로 구성

 

테스크

단계를 구성하는 단위활동

물리적 또는 논리적 단위로 품질검토의 항목

 

스텝

WBS의 워크 페키지에 해당

 

빅데이터 분석방법론 5단계

분석 기획 단계

비지니스 이해 및 프로젝트 범위 설정, 프로젝트 정의 및 수행계획 수립, 프로젝트 위험계획수립

위험계획 수립은 예상되는 위험에 대해 회피, 전이, 완화, 수용으로 구분하여 위험 관리 계획서를 작성한다.

위험관리 계획서: 프로젝트 범위 정의서(SOW) , 프로젝트 정의서(WBS)

 

데이터 준비

필요한 데이터 정의

데이터 스토어 설계

데이터 수집 및 정합성 검증(데이터 수집 저장시 ETL 등의 다양한 도구 사용)

 

데이터 분석 단계

분석용 데이터준비, 텍스트 분석, 탐색적분석(EDA 다양한 데이터 시각화를 활용하여, 데이터의 가독성을 명확히 하고 데이터의 형상 및 분포 등 데이터 특성을 파악하는 테스크)

모델링,모델 평가 및 검증, 모델 적용 및 운영방안 수립

 

시스템 구현 단계 (생략가능)

단순한 데이터 분석이나, 데이터 마이닝을 통한 분석 보고서를 작성하는것으로 프로젝트가 종료된 경우 생략가능

설계 및 구현 , 시스템 테스트 및 운영

 

평가 및 전개

모델 발전 계획 수립, 프로젝트 평가 및 보고

 

 

분석과제 발굴

 

하향식 접근법

 

문제 탐색

비즈니스 모델 캔버스 9가지 블록 과 5가지블록

업무, 제품, 고객, 규제&감사, 지원 인프라

 

분석 기회 발굴 범위 확장

거시적 관점, 경쟁자 확대, 시장니즈 탐색, 역량의 재해석

 

외부 참조 모델 기반 문제 탐색

유사 동종 업계 사례 벤치마킹을 통한 분석 기회 발굴

 

분석 유즈케이스

풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 해결했을 때 발생하는 효과를 명시함으로써, 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용할 수 있도록 하는 일

 

문제 정의

문제 탐색에 필요한 데이터 및 기법을 정의하기 위하여 문제를 데이터 분석의 관점으로 변환하는 작업

 

해결 방안 탐색

정의된 데이터 분석 문제를 해결하기 위한 다양한 방안 모색

 

타당성 검토

경제적 타당성 검토: 비용 대비 편익 분석 관점의 접근

데이터 타당성 검토: 데이터 존재 여부, 분석 시스템 환경, 분석 역량을 갖춘 상태

기술적 타당성 검토: 비지니스 지식과 기술적 지식이 있는지 검토

 

상향식 접근법

 

기존의 하향식 접근법의 한계를 극복

디자인적 사고 접근법 사용

상향식 접근법은 비지도 학습방법으로 수행되며, 데이터 자체의 결합, 연관성, 유사성을 중심으로 접근함

 

상향식 접근법의 종류 4가지

 

디자인 사고접근법

상향식 접근 방식의 발산 단계, 하향식 접근 방식의 수혐 단계를 반복적 수행

상호 보완을 통해 동적인 환경에서 분석의 가치를 높일 수 있는 최적의 의사결정 방식

 

비지도 학습방법

데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태 표현

 

상관관계 분석, 연관 분석을 통한 문제의 해결

인과관계에서 상관관계로 분석 관점이동

 

시행 착오를 통한 문제 해결 - 프로토 타이핑

명확한 데이터 규정이 어렵고, 데이터 소스도 명확하지 않은 상황에서 분석을 시도해보고 결과를 확인해 가며 반복적으로 개선하는 방법

 

프로토타입 프로세스

가설 생성 -> 디자인 실험 -> 테스트 -> 통찰 도출 가설확인

 

 

분석과제 정의

분석과제 정의서는 분석별 필요한 소스 데이터, 분석 방법, 데이터 입수 및 분석난이도, 분석 검증 오너십, 상세 분석 과정등을 정의 할 수 있다.

 

 

분석과제의 관리영역

1. 범위
2. 일정
3. 품질
4. 리스크
5. 의사소통

 

추가 관리해야할 것

1. data size
2. data complexity
3. speed
4. analytic complexity
5. accuarcy&precision

 

복잡도와 정확도는 트레이트 오프 관계이다.

 

 

정확도는 높을수록 모델과 실제값의 사이의 차이가 적다.

precision: 높을수록 모델을 지속적으로 반복했을 떄 편차의 수준으로써 동일한 결과를 제시함.

 

이해관계자

데이터 분석 프로젝트는 데이터 전문가, 비지니스 전문가, 분석전문가, 시스템전문가 등 다양한 전문가가 참여하므로, 이해관계자의 식별과 관리가 필요하다.

 

 

분석 마스터 플랜 수립 프레임워크

 

분석과제 우선순위 결정시 고려요소

1. 전략적 중요도
2. 비지니스 성과/ROI
3. 실행용이성

 

분석 적용 범위/ 방식 고려요소

1. 업무 내재화 적용수준
2. 분석데이터 적용수준
3. 기술적용수준

 

ISP(정보화 전략 기획)

정보 기술 또는 정보 시스템을 전략적으로 활용하기 위하여 조직 내 외부 환경을 분석하여 기회나 문제점을 도출하고, 사용자의 요구사항을 분석하여 시스템 구축 우선순위를 결정하는 등 중장기 마스터 플랜을 수립하는 절차이다.

 

 

일반적인 it 프로젝트 우선순위 평가 기준 - 전략의 중요도, 실행 용이성

ROI/분석우선순위 기준 - 시급성, 난이도

 

4v적용

가치 -> 비즈니스 효과

크기, 다양성, 속도 -> 투자비용 요소

 

 

난이도와 시급성에 따라 과제 우선순위 결정

우선순위가 가장 높은 영역: 3사분면

가장 낮은 영역: 2사분면

시급성 기준 3 - 4 -2

난이도기준 3 -1 -2 

 

경영진/실무 담당자 의사결정에 따른 난이도 조절이 가능하다.

기술적 요소에 따른 우선순위 조정

분석 범위에 따른 우선순위 조정

 

 

분석 거버넌스 개요

기업에서 데이터를 이용한 의사결정이 강조될 수록 분석과 활용을 위한 체계적인 관리가 중요해지고, 어떤 데이터를 어떻게 분석에 활용할 것인지가 중요해진다.

 

분산 거버넌스 체계 구성요소

1. 조직
2. 프로세스
3. 시스템
4. 데이터
5. Human Resource

분석 준비도

1. 분석업무 파악
2. 인력 및 조직
3. 분석기법
4. IT 인프라
5. 분석 문화
6. 분석 데이터

 

분석 준비도 및 성숙도 진단결과

기업의 현재 분석 수준을 객관적으로 파악할 수 있다.

경쟁사의 분석 수준 비교 평가를 통해 분석 경쟁력 확보 및 강화를 위한 목표 수준 설정이 가능하다.

 

1. 준비형 : 낮은 준비도 낮은 성숙도: 사전 준비가 필요한 기업
2. 정착형 낮은 준비도 높은 성숙도: 우선적으로 정착이 필요한 기업
3. 도입형 높은 준비도 낮은 성숙도: 바로 데이터 분석을 도입할 수 있는 기업
4. 확산형 높은 준비도 높은 성숙도: 다 가능한 기업

 

데이터 거버넌스 개요

전사 차원의 모든 데이터에 대하여 정책 및 지침, 운영 조직 및 책임 등의 표준화된 관리 체계를 수립하고, 운영을 위한 프레임워크 및 저장소를 구축하는 것

마스터 데이터, 메타 데이터, 데이터 사전은 데이터 거버넌스의 중요한 관리 대상,

 

 

데이터 거버넌스의 구성 요소

원칙, 조직, 프로세스

 

데이터 분석을 위한 조직 구조의 형태 3가지

 

집중구조

1. 전사 분석 업무를 변도의 분석 조직에서 담당
2. 현업 업무 부서와 이원화/이중화 가능성이 높아졌음

기능 구조

1. 별도 조직없고 해당 업무 분석 수행
2. 전사적 핵심분석 어렵다

분산 구조

1. 베스트 프랙티스 공유가능
2. 분석 조직 인력을 현업 부서로 직접배치
3. 전사 차원의 우선순위 수행

 

조직 분석 성숙도 평가 도구

CMMI 

소프트웨어 공학에서 시스템 개발 업무 능력과 조직의 성숙도를 파악하기 위해서 사용하는 모델

 

분석관리 프로세스 수립

1.  과제발굴
2.  과제수행

 

1과목 정리

https://taetaecoding.tistory.com/350

태태개발일지 - ADSP 1 과목 데이터의 이해 총정리

 

3과목정리
https://taetaecoding.tistory.com/352

태태개발일지 - ADSP 3 통계와 회귀분석