데이터 분석 준전문가(adsp) - 빅데이터의 이해

1.빅데이터의 이해

 

가.빅데이터의 정의 

 

1) 관점에 따른 정의

빅데이터의 정의는 빅데이터를 보는 관점에 따라 3가지로 정의한다.

첫째, 3V로 요약되는 데이터 자체의 특성 변화에 초점을 맞춘 좁은 범위의 정의가 있다.

둘째, 데이터 자체뿐 아니라 처리,분석, 기술적 변화 까지 포함되는 중간 범위의 정의가 있다.

셋째, 인재,조직 변화까지 포함한 넓은 관점에서의 빅데이터에 대한 정의가 있다.

 

[가트너 그룹 ( Gartner Group ) 의 더그 래니 ( Doug Laney ) 의 3v ] 

 

<3v>

 

양(Volume) : 데이터의 규모 측면 : 센싱데이터,비정형 데이터

다양성(Variety) : 데이터의 유형과 소스 측면 ( 정형,비정형데이터 / 영상,사진  ) 

속도(Velocity) : 데이터의 수집과 처리 측면 ( 원하는 데이터의 추출 및 분석속도 )  

 

+

 

가치 ( value ) / 시각화 ( Visualization ) / 정확성 ( Veracity ) 

 

2) 빅데이터 정의의 범주 및 효과 

 

데이터 변화 : 규모 , 형태 , 속도 --> 기술 변화 : 데이터 처리 , 저장 , 분석 기술 및 아키텍쳐 , 클라우드 컴퓨팅 활용 --> 인재 , 조직 변화 : Data scientist와 같은 새로운 인재 필요 , 데이터 중심 조직 

 

 

2.출현 배경과 변화

 

가.출현 배경 

빅데이터 현상은 없었던 것이 새로 등장한 것이 아니라 기존의 데이터 , 처리방식 , 다루는 사람과 조직 차원에서 일어나는 변화를 말한다 

 

1) 3가지 출현 배경 

산업계 : 고객 데이터 축적 : 고객 데이터를 축적하여 보유함으로써 데이터에 숨어있는 가치를 발굴해 새로운 성장동력원으로의 기술 확보 

 

학 계 : 거대 데이터 활용 , 과학 확산 : 거대 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍처 및 통계 도구들이 발전 

 

기술발전 : 관련기술의 발달 : 디지털화 , 저장 기술의 발달 , 인터넷 보급 , 모바일 혁명 , 클라우드 컴퓨팅 

 

 

3.빅데이터의 기능 

 

가.빅데이터에 거는 기대를 표현한 비유 

산업혁명의 석탄,철 : 제조업 뿐 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회/경제/문화/생활 전반에 혁명적 변화를 가져올 것으로 기대된다 

 

21세기의 원유 : 경제 성장에 필요한 정보를 제공함으로써 산업 전반의 생산성을 한 단계 향상시키고 , 기존에 없던 새로운 범주의 산업을 만들어낼 것으로 전망된다.

 

렌즈 : 렌즈를 통해 현미경이 생물학 발전에 미쳤던 영향만큼이나 데이터가 산업 발전에 영향을 미칠 것으로 기대된다.

 

플랫폼 : 공동 활용의 목적으로 구축된 유무형의 구조물로써의 다양한 서드파티 비즈니스에 활용되면서 플랫폼 역할을 할 것으로 전망된다.

 

 

4.빅데이터가 만들어 내는 본질적인 변화 

 

사전처리 --> 사후처리 = 필요한 정보만 수집하고 필요하지 않은 정보를 버리는 시스템에서 가능한 한 많은 데이터를 모으고 그 데이터를 다양한 방식으로 조합해 숨은 정보를 찾아낸다

 

표본조사 --> 전수조사 = 데이터 수집 비용의 감소와 클라우드 컴퓨팅 기술의 발전으로 데이터 처리비용이 감소하게 되었다. 이로 인해 표본을 조사하는 기존의 지식발견 방식에서 전수조사를 통해 샘플링이 주지 못하는 패턴이나 정보를 발견하는 방식으로 데이터 활용방법이 변화되었다.

 

질 --> 양 = 데이터가 지속적으로 추가될 경우 양질의 정보가 오류 정보보다 많아 전체적으로 좋은 결과 산출에 긍정적인 양향을 미친다는 추론에 바탕을 둔 변화가 나타나고 있다.

 

인과관계 --> 상관관계 = 상관관계를 통해 특정 현상의 발생 가능성이 포착되고 , 그에 상응하는 행동을 하도록 추천되는 일이 점점 늘어나고 있다. 이처럼 데이터 기반의 상관관계 분석이 주는 인사이트가 인과관계에 의한 미래 예측을 점점 더 압도해 가는 시대가 도래하게 될 것으로 전망된다.