Python 협업필터링_알고리즘2
협업필터링 알고리즘 연습2
(Collaborative filtering _ algorithm)
피타고라스 공식을 이용한 유사도도출은 2차원, 즉 비교대상이 2개로 한정되는 한계가 있다.
그렇기 때문에 실제 추천 알고리즘을 구현하고자 하는 데이터에서는 사실상 사용될 일이 없다고 할 수 있다.
다차원에서의 거리를 구해 비교대상이 몇 개로 늘어나든 하나의 함수로 비교할 수 있어야 하고 , 그에 따른 유사도를 구할 수 있어야 한다 .
다차원간 거리를 구하는 데 사용되는 공식들은 다음과 같다.
1. Euclidean distance
2. City-block(Manhattan) distance
3. Minkowski distance
4. Cosine distance
5. Jaccard’s distance
등이 있는데 , 우리가 다뤄 볼 것은 Euclidean distance ( 유클리디안 거리공식 ) 이다.
유클리디안 거리 공식은 무엇인가?
(What is the Euclidian distance formula?)
유클리디안 공식
(Euclidian formula)
식은 위와 같다.
i번째 비교대상 아이템의 값인 (xi-yi)의 제곱을 n번째 까지 모두 구해 더한 다음 제곱근을 취하는 방식이다.
일단 감이 안올수 있기 때문에 , 코드를 통해서 알아보자 .
유클리디안 거리공식을 통한 다차원에서의 두 사람간 거리구하기
(Obtain distance between two people in multi-dimensional through Euclidian distance formula)
여기서는 , 위 공식을 distance(data, name1, name2)로 정의한다.
파라미터의 data는 협업필터링1에서 사용한 critics 딕셔너리고 , name1 과 name2 가 비교대상이 될 것이다.
이중 딕셔너리 구조이므로 critics[name] 안에서 for문이 돈다면 딕셔너리 안에 존재하는 value값인 {‘guardians of the galaxy 2’:5,’christmas in august’:4 , ‘boss baby’:1.5} 의 형태로 값이 나오고 , 여기서 다시 key값인 영화 이름을 이용해 평점을 꺼내올 수 있다.
이를 함수로 만들면 아래와 같다 / pow는 제곱을 구하는 메서드
def distance(data, name1, name2):
sum=0
for i in data[name1]:
if i in data[name2]:
sum+=pow(data[name1][i]- data[name2][i],2)
return 1/(1+sqrt(sum))
if i in data[name2]
혹여나 , 같은 영화를 보지 않아 엉뚱한 값이 도출될 수 있으므로 조건문을 통해 같은 영화를 봤을 때만 합을 누적하도록 제한했다.
합을 모두 구했다면 , 피타고라스공식을 사용했을 때와 마찬가지로 정규화를 통해 변수를 일정 범위내로 재설정하고 리턴한다.
위 함수를 사용해 chs 와 leb의 유사도를 구하면 다음과 같다 .
distance(critics,'chs','leb')
è 0.2402530733520421
아이템이 몇 개가 되든지간에 두 사람간 유사도를 구할 수 있게 되었다.
위에서 도출한 distance함수를 통해 전체 데이터에서 거리가 가장 가까운 사람 구하기
이제 두 사람간 유사도를 구할 수 있게 되었다.
한 단계 더 나아가 딕셔너리 전체를 돌며 유사도가 가장 비슷한 사람을 구해본다.
지금은 4명 뿐이지만 , 사람이 몇 명이 되든 적용하도록 새로운 함수를 만들어본다.
코드를 통해서 이해를 해보자 .
li=[] # li는 전역변수로써 점수와 이름을 따로 추출할 때 사용할 것이다 .
def match(data,name,index=3,distance_function=distance):
for i in data:
if name != i: # 자기 자신은 제외
li.append((distance_function(data,name,i),i))
# 유사도 , 이름을 튜플에 묶어 리스트에 추가한다 .
li.reverse() # 내림차순 정렬
return li[:index]
match 라는 함수를 선언해 주게 되는데 , 각 변수들을 알아보자.
data=딕셔너리 ( 영화와 이름 )
name = 기준이 될 사람
index = 몇 위까지 출력할 것인지
distance_function은 위에서 구해 놓은 distance 함수가 된다.
Match 함수가 작동하는 과정은 다음과 같다 .
1. 반복문을 data의 사람수만큼 돌린다.
2. (유사도, 이름)을 튜플로 묶어 빈 리스트에 추가한다 .
출력하면 [(점수,이름),(점수,이름)..] 의 형태가 될 것이다.
3. 마지막으로 보기 쉽게 내림차순 정렬 후 파라미터로 주어진 index 숫자만큼 인덱싱하고 return 한다.
그리고 위에서 정의한 distance 함수에서 같은 영화를 봤을 때 라는 조건이 붙어 있기 때문에 여기서는 자기 자신만 제외하는 조건만 붙이면 된다.
match(critics,'chs')
è [(0.2402530733520421, 'leb'),
è (0.2402530733520421, 'kmh'),
è (0.4721359549995794, 'hhd')]
하나의 함수로 여러 개의 아이템을 비교했고 , chs 와 hhd의 거리가 가장 가까운 것을 확인할 수 있다.
가장 가깝다는 것은 유사도가 높다는 것을 의미한다 .
BARPLOT을 통한 시각화
(Visualization with BARPLOT)
이제 시각화를 위해 bar plot을 사용해볼 것이다 .
그래프를 위해서 matplotlib.pyplot을 import 한 뒤 , 플롯을 그리기 위한 함수 barchart(data, labels)를 정의한다 .
여기서 x축이 유사도가 되고 , y축은 이름이 되는 bar플롯이다.
파라미터의 data는 점수가 들어있는 리스트고 , labels는 이름이 들어있는 리스트가 될 것이다 .
def barchart(data, labels): # data , labels 는 list 형태로 사용
positions = range(len(data))
plt.barh(positions, data, height=0.5,color='r') #가로
plt.yticks(positions, labels)
plt.xlabel('similarity') #x축
plt.ylabel('name') #y축
plt.show #출력
함수를 정의했으니 , 파라미터로 들어갈 data(점수) , label(이름) 를 구해보자
아까 위에서 match()에서 구한 리스트를 확인해 본다 .
[(0.2402530733520421, 'leb'),
(0.2402530733520421, 'kmh'),
(0.4721359549995794, 'hhd')]
여기서 반복문을 통해 이름과 점수를 분리해 한다 .
각 0번째 인덱스를 점수로 , 1번째 인덱스를 이름으로 분리한다.
score = []
names = []
for i in li:
score.append(i[0]) #점수를 담는다.
names.append(i[1]) #이름을 담는다.
점수와 이름을 개별로 리스트 형태로 저장이 잘 되었는지 확인해 보자 .
score
è [0.2402530733520421, 0.2402530733520421, 0.4721359549995794]
names
è ['leb', 'kmh', 'hhd']
barchart(score,names)
è
chs와 유사도 가장높은 사람은 hhd 라는 것을 한눈에 쉽게 알 수 있다.