1. 통계 - 특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요역된 형태의 표현이다. (Ex) 일기예보 , 물가/시업률/GNP , 정당 지지도 , 의식조사와 사회조사 분석 통계 , 임상실험 등의 실험 결과 분석 통계 - 조사 또는 실험을 통해 데이터를 확보 , 조사대상에 따라 총조사(census) 와 표본조사로 구분한다. 2. 통계자료의 획득 방법 가. 총 조사 / 전수 조사 ( census ) - 대상 집단 모두를 조사하는데 많은 비용과 시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않는다. ( ex. 인구주택 총 조사 ) 나. 표본조사 - 대부분의 설문조사가 표본조사로 진행되며 모집단에서 샘플을 추출하여 진행하는 조사이다. - 모집단 ( population ) : 조사하고자 하..
1. 데이터 EDA ( 탐색적 자료 분석 ) - 데이터의 분석에 앞서 전체적으로 데이터의 특징을 파악하고 데이터를 다양한 각도로 접근한다. - summary() 를 이용하여 데이터의 기초통계량을 확인한다. 2. 결측값 인식 - 결측값은 NA , 9999999 , ' '(공백) , Unknown , Not Answer 등으로 표현되는 것으로 결측값을 처리하기 위해서 시간을 많이 사용하는 것은 비효율적이다. - 결측값 자체의 의미가 있는 경우도 있는데 예를 들면 쇼핑몰 가입자 중 특정 거래 자체가 존재하지 않는 경우와 인구통계학적데이터 ( demographic data ) 에서 아주 부자이거나 아주 가난한 경우 자신의 정보를 잘 채워 넣지 않기 때문에 가입자의 특성을 유추하여 활용할 수 있다. - 결측값 처..
1. Data Exploration 가. 개요 - 데이터 분석을 위한 구성된 데이터의 변수들의 상태를 파악한다. 나. 종류 1) head(데이터셋) , tail(데이터셋) - 시작 또는 마지막 6개 record만 조회하는 함수 2) summary(데이터셋) 가) 수치형변수 : 최대값 , 최소값 , 평균 , 1사분위수 , 2사분위수(중앙값) , 3사분위수 나) 명목형변수 : 명목값 , 데이터 개수 2. 변수 중요도 가. 개요 - 변수 선택법과 유사한 개념으로 모형을 생성하여 사용된 변수의 중요도를 살피는 과정이다. 나. 종류 1) klaR 패키지 - 특정 변수가 주어졌을 때 클래스가 어떻게 분류되는지에 대한 에러율을 계산해주고 , 그래픽으로 결과를 보여주는 기능을 한다. - greedy.wilks() : ..
1. R reshape를 이용한 데이터 마트 개발 가.데이터 마트 - 데이터 웨어하우스와 사용자 사이의 중간층에 위치한 것으로 하나의 주제 또는 하나의 부서 중심의 데이터 웨어하우스라고 할 수 있다. - 데이터 마트 내 대부분의 데이터는 데이터 웨어하우스로부터 복제되지만 , 자체적으로 수집될 수도 있으며 관계형 데이터 베이스나 다차원 데이터 베이스를 이용하여 구축 한다. - CRM ( customer relationship management) 관련 업무 중에서 핵심 - 고객 데이터 마트 구축 - 동일한 데이터 셋을 활용할 경우 , 최신 분석기법들을 이용하면 분석가의 역량에서는 분석 효과가 크게 차이가 나지 않기 때문에 데이터 마트를 어떻게 구축하느냐에 ㄸ라 분석 효과는 크게 차이 난다. 나. 요약변수 ..
1. 데이터 프레임 - 데이터에서 각각의 변수에 해당하는 열들의 모임으로 R에서 활용하는 코드들은 아래와 같다. 데이터프레임 : data.frame(벡터,벡터,벡터) : 벡터들로 데이터셋 생성 레코드 생성 : new 5 , c(변수3,변수4) --> 데이터셋의 변수1과 변수2의 조건에 만족하는 레코드의 변수3과 변수4만을 조회 데이터 프레임 조회3 dfrm[grep("문자", dfrm$변수1, ignore.case = T ) , c("변수2,변수3") --> 데이터셋의 변수1 내 "문자"가 들어 있는 케이스들의 변수2,변수3 값을 조회 데이터셋 조회 subset(dfrm, select=변수 , subset=변수>조건) --> 데이터셋의 특정변수의 값이 조건에 맞는 변수셋 조회 , subset은 벡터와 리..