데이터 분석 준전문가(adsp) - 분석 과제 발굴

1.분석과제 발굴 방법론 

 

가.개요

 

- 분석 과제는 풀어야 할 다양한 문제를 데이터 분석 문제로 변환한 후 관계짜들이 이해하고 프로젝트로 수행할 수 있는 과제 정의서 형태로 도출된다.

 

- 분석과제를 도출하기 위한 방식으로는 크게 하향식 접근 방법 ( Top Down Approach ) 과 상향식 접근 방법 ( Bottom up Approach ) 이 있다. 

 

- 문제가 주어져 있는 상태에서 답을 구하는 하향식 접근 방식이 전통적으로 수행되었던 분석 과제 발굴 방식이다. 그러나 대규모의 다양한 데이터를 생성하고 빠르게 변하는 기업 환경에서는 문제 자체의 변화가 심재 정확하게 문제를 사전에 정의하는 것이 어려워지고 있다.

 

- 분석 과제 발굴을 두가지 방식으로 나누었지만 , 실제 새로운 상품 개발이나 전략 수립 등 중요한 의사결정을 할 때 하향식 접근 방법과 상향식 접근 방법이 혼용되어 사용되며 , 분석의 가치를 높일 수 있는 최적의 의사결정은 두 접근 방식이 상호 보완 관계에 있을 때 가능하다 . 

 

나. 하향식 접근법 ( Top Down Approach ) 

- 하향식 분석 접근법은 현황 분석을 통해 기회나 문제를 탐색 ( Problem Discovery ) 하고 , 해당 문제를 정의 ( Problem Definition ) , 해결방안을 탐색 ( Solution Search ) 한다. 그리고 데이터 분석의 타당성 평가 ( Feasibility Study ) 를 거쳐 분석 과제를 도출하는 과정으로 구성된다 . 

 

1) 문제 탐색 ( Problem Discovery ) 단계 - 하향식 접근법 1단계 

- 전체적인 관점의 기준 모델을 활용하여 빠짐없이 문제를 도출하고 식별하는 것이 중요하다 .

- 전체적인 관점의 기준 모델로는 기업 내 외부 환경을 포괄하는 비즈니스 모델과 외부 참조 모델이 존재한다.

- 과제 발굴 단계에서는 세부적인 구현 및 솔루션에 초점을 맞추는게 아니라 , 문제를 해결함으로써 발생하는 가치에 중점을 두는 것이 중요하다 . 

 

 

가) 비즈니스 모델 기반 문제 탐색 

- 기업 내 외부 환경을 포괄하고 있는 비즈니스 모델이라는 틀 ( Frame ) 을 활용하여 비즈니스모델 캔버스의 9가지 블록을 단순화하여 업무 , 제품 , 고객 단위로 문제를 발굴하고 , 이를 관리하는 두 가지의 영역인 규제와 감사영역과 지원 인프라영역에 대한 기회를 추가로 도출하는 작업을 수행한다. 

 

업무 : 제품 및 서비스를 생산하기 위해서 운영하는 내부 프로세스 및 주요 자원 ( Resource ) 관련 주제 도출 

(Ex) 생산 공정 최적화 , 재고량 최소화 

 

제품 : 생산 및 제공하는 제품 , 서비스를 개선하기 위한 관련 주제 도출 

(Ex) 제품의 주요기능 개선 , 서비스 모니터링 지표도출 

 

고객 : 제품 , 서비스를 제공받는 사용자 및 고객 , 이를 제공하는 채널의 관점에서 관련 주제 도출 

(Ex) 고객 Call 대기 시간 최소화 , 영업점 위치 최적화 

 

 

규제와 감사 : 제품 생산 및 전달과정 프로세스 중에서 발생하는 규제 및 보안의 관점에서 주제 도출 

(Ex) 제공 서비스 품질의 이상 징후 관리 , 새로운 환경 규제 시 예상되는 제품 추출 

 

 

지원 인프라 : 분석을 수행하는 시스템 영역 및 이를 운영 관리하는 인력의 관점에서 주제 도출 

(Ex) EDW 최적화 , 적정 운영 인력 도출 

 

 

- 현재 사업을 영위하고 있는 환경 , 경쟁자 , 보유하고 있는 역량 , 제공하고 있는 시장을 넘어서 거시적 관점의 요인 , 경쟁자의 동향 , 시장의 니즈 변화 , 역량의 재해석 등 새로운 관점의 접근을 통해 새로운 유형의 분석 기회 및 주제 발굴을 수행해햐 한다.

 

나) 분석 기회 발굴의 범위 확장 

 

(1) 거시적 관점의 메가트랜드 

- 조직 및 해당 산업에 폭넓게 영향을 미치는 사회 / 경제적 요인을 STEEP으로 요약되는 Social ( 사회 ) , Technological ( 기술 ) , Economic ( 경제 ) , Environmental ( 환경 ) , Poli - tical ( 정치 ) 영역으로 폭넓게 나눈다. 

 

Social ( 사회 ) : 비즈니스 모델의 고객 ( Customer ) 영역에 존재하는 현재 고객을 확장하여 전체 시장을 대상으로 사회적으로 , 문화적 , 구조적 트렌드 변화에 기반한 분석 기회를 도출한다. 

(Ex) 노령화 , 밀레니엄 세대 등장 , 저출산에 따른 사업모델 변화 

 

Technological ( 기술 ) : 과학 , 기술 , 의학 등 최신 기술의 등장 및 변화에 따른 역량 내 재화와 제품 , 서비스 개발에 대한 분석 기회를 도출한다 

(Ex) 나노 기술 , IT 융합 기술 , 로봇 기술의 고도화로 인한 제품의 Smart화 

 

Economic ( 경제 ) : 산업과 금융 전반의 변동성 및 경제 구조 변화 동향에 따른 시장의 흐름을 파악하고 , 이에 대한 분석기회를 도출한다. 

(Ex) 원자재 가격 , 환율 , 금리 변동에 따른 구매전략의 변화 

 

Environmental ( 환경 ) : 환경과 관련된 정부 , 사회단체 , 시민사회의 관심과 규제 동향을 파악하고 이에 대한 분석 기회를 도출한다. 

(Ex) 탄소 배출 규제 및 거래 시장 등장에 따른 원가 절감 및 정보 가시화 등 

 

Political ( 정치 ) : 주요 정책방향 , 정세 , 지정학적 동향 등의 거시적인 흐름을 토대로 한 분석 기회를 도출한다.

(Ex) 대북관계 동향에 따른 원자재 구매 거래선의 다변화 등 

 

 

(2) 경쟁자 확대 관점 

- 현재 수행되고 있는 사업 영역의 직접 경쟁사 및 제품 , 서비스뿐만 아니라 대체재와 신규 진입자 등으로 관점을 확대하여 위협이 될 수 있는 상황에 대한 분석 기회 발굴의 폭을 넓혀서 탐색한다.

 

대체재 ( Substitute ) : 융합적인 경쟁 환경에서 현재 생산을 수행하고 있는 제품 , 서비스를 온라인으로 제공하는 것에 대한 탐색 및 잠재적 위험을 파악한다 

(Ex) 오프라인 제공 서비스 --> 온라인제공에 대한 탐색 및 잠재적 위협 파악 

 

경쟁자 ( Competitor ) : 현재 생산하고 있는 제품 , 서비스의 주요 경쟁자에 대한 동향을 파악하여 이를 고려한 분석기회를 도출한다. 

(Ex) 식별된 주요 경쟁사의 제품 , 서비스 카탈로그 및 전략 분석을 통한 잠재적 위협 파악 

 

신규 진입자 ( New Entrant ) : 향후 시장에 대해서 파괴적인 역할을 수행할 수 있는 신규 진입자에 대한 동향을 파악하여 이를 고려한 분석 기회를 도출한다.

(Ex) 새 제품에 대한 클라우드 소싱 서비스인 킥 스타터의 유사 제품을 분석하고 잠재적 위협 파악 

 

 

(3) 시장의 니즈 탐색 관점 

- 현재 수행하고 있는 사업에서의 직접 고객뿐만 아니라 고객과 접촉하는 역할을 수행하는 채널 ( Channel ) 및 고객의 구매와 의사결정에 영향을 미치는 영향자들 ( Influen - cer ) 에 대한 폭넓은 관점을 바탕으로 분석 기회를 탐색한다.

 

고객 ( Customer ) : 고객의 구매 동향 및 고객의 컨텍스트를 더욱 깊게 이해하여 제품 , 서비스의 개선에 필요한 분석 기회를 도출한다.

(Ex) 철강 기업의 경우 조선 산업과 자동차 산업의 동향 및 주요 거래선의 경영 현환 등을 파악하고 분석 기회 도출 

 

채널 ( Channel ) : 영업사원 , 직판 대리점 , 홈페이지 등의 자체적으로 운영하는 채널뿐만 아니라 최종 고객에게 상품 , 서비스를 전달하는 것에 가능한 경로를 파악하여 해당 경로에 존재하는 채널별로 분석기회를 확대하여 탐색한다.

(Ex) 은행의 경우 인터넷 전문은행 등 온라인 채널의 등장에 따른 변화에 대한 전략 분석 기회 도출 

 

영향자 ( Influencer ) : 기업 의사결정에 영향을 미치는 주주 / 투자자 / 협회 및 기타 이해 관계자의 주요 관심사항에 대해서 파악하고 분석기회를 탐색한다.

(Ex)  M & A 시장 확대에 따른 유사 업종의 신규기업 인수 기회 탐색 

 

 

(4) 역량의 재해석 관점 

- 현재 해당 조직 및 기업이 보유한 역량뿐만 아니라 해당 조직의 비즈니스에 영향을 끼치는 파트너 네트워크를 포함한 활용 가능한 역량을 토대로 폭넓은 분석 기회를 탐색한다.

 

내부 역량 ( Competency ) : 지적 재산권 , 기술력 등 기본적인 것 뿐만 아니라 중요하면서도 자칫 간과하기 쉬운 지식 , 기술 , 스킬 등의 노하우와 인프라적인 유형 자산에 대해서 재해석하고 해당영역에서 분석 기회를 탐색한다.

(Ex) 자사 소유 부동산을 활용한 부가 가치 창출 기회 발굴 

 

파트너와 네트워크 ( Partners & Network ) : 자사가 직접 보유하고 있지는 않지만 밀접한 관계를 유지하고 있는 관계사와 공급사 등의 역량을 활용해 수행할 수 있는 기능을 파악해보고 이에 대한 분석 기회를 추가적으로 도출한다.

(Ex) 수출입 , 통관 , 노하우를 활용한 추가 사업기회 탐색 

 

 

다) 외부참조 모델기반 문제탐색 

- 유사 , 동종 사례 벤치마킹을 통한 분석기회 발굴은 제공되는 산업별 , 업무 서비스별 분석테마 후보 그룹(Pool)을 통해 " Quick & Easy " 방식으로 필요한 분석기회가 무엇인지에 대한 아이디어를 얻고 , 기업에 적용할 분석테마 후보 목록을 워크숍 형태의 브레인스토밍 ( Brain storming ) 을 통해 빠르게 도출하는 방법이다.

 

- 현재 환경에서는 데이터를 활용하지 않은 업종 및 업무 서비스가 사실상 존재하지 않기 때문에 데이터 분석을 통한 인사이트 ( insight ) 를 도출하고 업무에 활용하는 사례들을 발굴하고 , 자사의 업종 및 업무서비스에 적용하며 평상시 지속적인 조사와 데이터 분석을 통한 가치 발굴 사례를 정리하여 풀 ( pool ) 로 만들어 둔다면 과제 발굴 및 탐색시 빠르고 의미있는 분석 기회도출이 가능하다 . 

 

 

라) 분석 유즈 케이스 ( Analytics Use case ) 

- 현재의 비즈니스 모델 및 유사 , 동종사례 탐색을 통해서 빠짐없이 도출한 분석 기회들을 구체적인 과제로 만들기 전에 분석 유즈 케이스로 표기하는 것이 필요하다 . 분석 유즈 케이스는 풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 해결했을 때 발생하는 효과를 명시함으로써 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용하도록 한다.

 

 

 

2) 문제 정의 ( Problem Definition ) 단계 - 하향식 접근법 2단계 

- 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의 하는 단계이며 , 앞서 수행한 문제 탐색의 단계가 무엇을 ( What ) 어떤 목적으로 ( Why ) 수행해야 하는지에 대한 관점이였다면 본 단계에서는 이를 달성하기 위해서 필요한 데이터 및 기법 ( How ) 을 정의하기 위한 데이터 분석의 문제로의 변환을 수행하게 된다.

 

- 데이터 분석 문제의 정의 및 요구사항 : 분석을 수행하는 당사자뿐만 아니라 해당 문제가 해결되었을 때 효옹을 얻을 수 있는 최종사용자 ( End User ) 관점에서 이루어져야 한다.

 

- 데이터 분석 문제가 잘 정의되었을 때 필요한 데이터의 정의 및 기법 발굴이 용이하기 때문에 가능한 정확하게 분석의 관점으로 문제를 재정의할 필요가 있다.

 

 

3) 해결방안 탐색 ( Solution Search ) 단계 - 하향식 접근법 3단계 

- 이 단계에서는 정의된 데이터 분석 문제를 해결하기 위한 다양한 방안이 모색된다.

가) 기존 정보시스템의 단순한 보완으로 분석이 가능한지 고려

나) 엑셀 등의 간단한 도구로 분석이 가능한지 고려

다) 하둡 등 분산병렬처리를 활용한 빅데이터 분석 도구를 통해 보다 체계적이고 심도있는 방안 고려 

 

- 분석역량을 기존에 가지고 있는 지의 여부를 파악하여 보유하고 있지 않은 경우에는 교육이나 전문인력 채용을 통한 역량을 확보하거나 분석 전문업체를 활용하여 과제를 해결하는 방안에 대해 사전 검토를 수행한다.

 

4) 타당성 검토 ( Feasibility Study ) - 하향식 접근법 4단계 

- 도출된 분석 문제나 가설에 대한 대안을 과제화하기 위해서는 다음과 같은 다각적인 타당성분석이 수행되어야 한다.

 

가 ) 경제적 타당성 

- 비용대비 편익 분석 관점의 접근이 필요하다 . 비용 항목은 데이터 , 시스템 , 인력 , 유지보수 등과 같은 분석 비용으로 구성되고 , 편익으로는 분석 결과를 적용함으로써 추정되는 실질적 비용 절감 , 추가적 매출과 수익 등과 같은 경제적 가치로 산출된다 . 

 

나 ) 데이터 및 기술적 타당성 

- 데이터 분석에는 데이터 존재 여부 , 분석 시스템 환경 그리고 분석 역량이 필요하다. 특히 분석 역량의 경우 실제 프로젝트 수행시 걸림돌이 되는 경우가 많기 때문에 기술적 타당성 분석시 역량 확보 방안을 사전에 수립하고 이를 효과적으로 평가하기 위해서는 비즈니스 지식과 기술적 지식이 요구된다.

- 위의 타당성 검토를 통해 도출된 대안을 통해 

(1) 평가 과정을 거쳐 가장 우월한 대안을 선택한다

(2) 도출한 데이터 분석 문제 및 선정된 솔루션 방안을 포함한다.

(3) 분석과제 정의서의 형태로 명시하는 후속작업을 시행한다

(4) 프로젝트 계획의 입력물로 활용한다

 

다.상향식 접근법 ( Bottom up Approach ) 

 

1) 정의 

- 한 의약제조사는 특허기간이 만료된 의약품 약 2천 종류의 데이터를 분석 , 상호 결합하여 새로운 의약품을 개발하려고 시도했다.

- 의약품 집합으로부터 두 개의 조합을 선택할 수 있는 방법은 백만 개 이상이기 때문에 이 회사는 새로운 결합의 효과성을 검증하기 위해 다양한 기법을 적용하여 데이터를 분석했다.

- 여기에서는 전통적인 하향식 문제 해결방식과 대비하여 기업에서 보유하고 있는 다양한 원천 데이터로부터의 분석을 통하여 통찰력과 지식을 얻는 상향식 접근방법을 기술한다. 상향식 접근방법은 다양한 원천 데이터를 대상으로 분석을 수행하여 가치있는 모든 문제를 도출하는 일련의 과정이다.

 

 

2) 기존 하향식 접근법의 한계를 극복하기 위한 분석 방법론 

- 기존 접근방법인 논리적인 단계별 접근법은 문제의 구조가 분명하고 문제를 해결하고 해결책을 도출하기 위한 데이터 분석가 및 의사결정자에게 주어져 있음을 가정하고 있기 때문에 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계가 있다.

 

- 따라서 기존의 논리적인 단계별 접근법 기반의 문제해결 방식은 최근 복잡하고 다양한 환경에서 발생하는 문제에는 적합하지 않을 수 있다.

 

- 이를 해결하기 위해서 스탠포드 대학의 d.school은 디자인사고 접근법을 통해서 전통적인 분석적 사고를 극복하려고 한다.

 

- 통상적인 관점에서는 분석적으로 사물을 인식하려는 'why'를 강조하지만 이는 우리가 알고 있다고 가정하는 것이기 때문에 문제와 맞지 않는 솔루션인 경우 오류가 발생할 소지가 있다.

그렇기 때문에 , 답을 미리 내는 것이 아니라 사물을 있는 그대로 인식하는 'What' 관점에서 보아야 한다는 것이다.

 

- 객관적으로 존재하는 데이터 그 자체를 관찰하고 실제적으로 행동에 옮김으로써 대상을 좀 더 잘 이해하는 방식으로의 접근을 수행하는 것이다.

 

- 이와 같은 점을 고려하여 d.school 에서는 첫 단계로 감정이입 ( Empathize) 을 특히 강조하고 있다.

 

 

 

 

3) 비지도 학습과 지도 학습 

 

가) 비지도 학습 ( Unsupervised Learning ) 

- 일반적으로 상향식 접근방식의 데이터 분석은 비지도 학습 ( Unsupervised Learning ) 방법에 의해 수행된다. 

- 비지도 학습은 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합 , 연관성 , 유사성 등을 중심으로 데이터의 상태를 표현하는 것이다.

- 비지도 학습의 데이터 마이닝 기법의 예 - 장바구니 분석 , 군집 분석 , 기술 통계 및 프로파일링 등 

 

 

나) 지도 학습 ( Supervised Learning ) 

- 명확한 목적 하에 데이터분석을 실시하는 것은 지도학습이라고 하며 , 분류 , 예측 , 추측 , 최적화 등을 통해 사용자의 주도하에 분석을 실시하고 지식을 도출하는 것이 목적이다. 

 

 * 지도학습과 비지도학습의 비교 o 와 x 를 구분 짓게 하는 분류 ( classification ) 는 지도학습에 해당도고 , 인자들 간의 유사성을 바탕으로 수행하는 군집화 ( Clustering ) 는 비지도 학습에 해당된다. 

지도학습의 경우 결과로 도출되는 값에 대하여 사전에 인지하고 어떠한 데이터를 넣었을 때 어떠한 결과가 나올지를 예측하는 것이다.

비지도학습의 경우 목표 값을 사전에 정의하지 않고 데이터 자체만을 가지고 그룹들을 도출함으로써 해석이 용이하지는 않지만 새로운 유형의 인사이트를 도출하기에 유용한 방식으로 활용할 수 있다.

 

- 통계적 분석에서는 인과관계 분석을 위해 가설을 설정하고 이를 검정하기 위해 모집단으로 부터 표본을 추출하고 그 표본을 이용한 가설 검정을 실시하는 방식으로 문제를 해결하였다. 그러나 빅데이터 환경에서는 이와 같은 논리적인 인과관계 분석뿐만 아니라 상관관계 분석 또는 연관 분석을 통하여 다양한 문제 해결에 도움을 받을 수 있다.인과관계로부터 상관관계 분석으로의 이동이 빅데이터 분석에서의 주요 변화라고 할 수 있다. 다량의 데이터 분석을 통해서 "왜" 그러한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의 할 수 있는 것이 상향식 접근법이다.

 

 

4) 시행착오를 통한 문제 해결 

 

가) 정의 

- 프로토타이핑 접근법은 사용자가 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터소스도 명확히 파악하기 어려운 상황에서 일단 분석을 시도해 보고 그 결과를 확인해 가면서 반복적으로 개선해 나가는 방법을 말한다.

- 하향식 접근방식은 문제가 정형화되어 있고 문제해결을 위한 데이터가 완벽하게 조직에 존재할 경우에 효과적이다.

- 이에 반하여 프로토타이핑 방법론은 비록 완전하지는 못하다 해도 신속하게 해결책이나 모형을 제시함으로써 이를 바탕으로 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화할 수 있게 하는 유용한 상향식 접근 방식이다. 

 

- 프로토타이핑 접근법의 기본적인 프로세스는 가설의 생성 , 디자인에 대한 실험 , 실제 환경에서의 테스트, 테스트 결과에서의 통찰도출 및 가설 확인으로 구성된다.

 

 

나) 빅데이터 분석 환경에서 프로토타이핑의 필요성 

 

(1) 문제에 대한 인식 수준 

- 문제 정의가 불명확하거나 이전에 접해보지 못한 새로운 문제일 경우 사용자 및 이해관계자는 프로토타입을 이용하여 문제를 이해하고 , 이를 바탕으로 구체화하는데 도움을 받을 수 있다.

 

(2) 필요 데이터 존재 여부의 불확실성 

- 문제해결을 위해 필요한 데이터의 집합이 모두 존재하지 않을 경우 , 그 데이터의 수집을 어떻게 할 것인지 또는 그 데이터를 다른 데이터로 대체할 것인지 등에 대한 사용자와 분석가간의 반복적이고 순환적인 협의 과정이 필요하다.

대체 불가능한 데이터가 존재하는지 사전에 확인한다면 불가능한 프로젝트를 수행하는 리스크를 사전에 방지할 수 있다.

 

(3) 데이터 사용 목적의 가변성 

- 데이터의 가치는 사전에 정해진 수집목적에 따라 확정되는 것이 아니고 , 그 가치가 지속적으로 변화할 수 있다. 따라서 조직에서 보유 중인 데이터라 하더라도 기존의 데이터 정의를 재검토하여 데이터의 사용 목적과 범위를 확대할 수 있을 것이다.

 

 

 

라. 분석과제 정의 

- 분석과제 정의서를 통해 분석별로 필요한 소스 데이터 , 분석방법 , 데이터 입수 및 분석의 난이도 , 분석 수행주기 , 분석결과에 대한 검증 오너십 , 상세 분석 과정 등을 정의한다. 분석 데이터 소스는 내 외부의 비구조적인 데이터와 소셜 미디어 및 오픈 데이터까지 범위를 확장하여 고려하고 분석방법 또한 상세하게 정의한다.