Steam 에서 특정 태그에 해당하는 태그 성향 분석하기 1

Steam 에서 특정 태그에 해당하는 태그 성향 분석하기 1

Steam 게임은 게임을 좋아하는 사람이라면 알고 있는 게임 툴일 것이다.

Steam에는 수많은 게임들이 존재한다.

정말 매력적인 것은 스팀에서 게임을 올릴 때 , 개발자가 각 게임에 대해서 

태그 ( Tag ) 로써 게임의 성향을 써놓았다.

이 태그들을 통하여서 , 각 게임에 대해서 어떠한 특성을 가지고 있는지 알 수 있게 된다.

Steam에서는 태그별로 게임들을 분류해 놓았다 . 

정말 다양한 Tag들이 존재한다.

이 Tag들에 따른 Game들이 존재하게 되는데 , 과연 이 Tag 에 따른 게임들이 어떻게 다양하게 존재하고 , 

얼마나 관계가 있을까 궁금했다.

그래서 나는 R 을 사용해서 크롤링을 해서 , wordcloud2를 사용해서 특정 태그에 존재하는 게임들의 성향을 알아 보았다.

코드를 보면서 말해보겠다.

많은 태그들 중 Indie태그에 해당하는 게임들을 알아 볼 것이다 . 

library(rvest)

library(xml2)

library(dplyr) #파이프 구조 ( %>% ) 를 쓰기 위한 라이브러리 

library(stringr)

# 필요한 패키지들 

library(devtools)

library(htmlwidgets)

library(htmltools)

library(jsonlite)

library(yaml)

library(base64enc)

library(tm)

library(NLP)

library(wordcloud2)

library(extrafont)

나는 수 많은 태그들 중에서 Indie 태그를 알아 볼 것이다.

기본적으로 Indie 태그는 페이지의 이동 변수가 p이며 , 값은 0 부터 시작하며 , 1씩 증가함에 따라 페이지의 이동이 된다.

First_url <- "https://store.steampowered.com/tags/en/Indie/#p="

# First_url :  Page라는 페이지의 이동 변수를 기준으로  앞 주소  

second_url <- "&tab=NewReleases"

# second_url : Page 라는 페이지의 이동 변수를 기준으로 뒤 주소 

urls <- NULL

# 여기 포인트 : 벡터의 주소값은 1 부터 시작한다 , 그런데 url 주소를 보면 페이지의 이동이 p=0부터 시작한다

# 그래서 x -1 을 해줌으로써 p=0을 맞춰줌 

for(x in 1:2)

{

  urls[x] <- paste0(First_url,as.character(x-1),second_url)

}

데이터가 많기 때문에 , 첫 페이지와 두번째 페이지 까지만 가져올 것이다.

이제 urls 라는 변수에 벡터로써 주소값들이 존재하게 된다 . 

가져왔으면 크롤링 할 준비를 하면 된다.

근데 , 여기서 생각해 볼 것이 다음과 같다.

1. 나는 게임의 이름과 게임이 어떠한 특성을 가졌는지 알고 싶다

2. 그렇기 때문에 크롤링해올 것들은 게임의 이름 , 게임의 특성 ( 여기서는 Tag ) 이다.

3. 그렇다면 , 페이지 이동에 따른 주소에서 html을 가져와서 거기서 바로 크롤링을 하는가 ?? 

4. 아니면 , 페이지 이동에 따른 전체 urls에서 특정 게임에 해당하는 <a> 태그내에 존재하는 link를 타고 들어가서 

   거기서 크롤링을 할 것인가??

나는 두 가지 방법을 다 해보았는데 , 3번을 하게 될 경우 Steam에서는 제대로된 크롤링을 해오지 못한다 .

왜냐하면 , Steam의 구조를 보니까 , 가져온 페이지 이동 주소에서 게임의 이름과 게임의 태그들을 가져온다고 했을 때 

불필요한 부분까지 포함이 되었고 , 화면내에서는 안보이는 부분까지 불필요하게 가져왔기 때문이다 . 

그래서 4번 방법으로 크롤링을 진행 하였다.

# ---------------------- Get Steam _ game _ name (Indie)

# 그 페이지에 존재하는 class 값이 존재한다면 그 값을 다 가져와 버린다 . 

# 그렇기 때문에 나는 , 특정 범위를 잡아서 그 범위 내에 존재하는 class 이름들만 검색한후 

# 해당하는 값들만 가져온다 . 

game_name <- NULL

for(url in urls)

  

{

  

  html <- read_html(url)

  game_name <- c(game_name, html %>% html_nodes("#NewReleasesRows") %>% html_nodes(".tab_item_content") %>% html_nodes(".tab_item_name") %>% html_text())

  

} 

 위 처럼 게임의 이름을 가져온다 . 

 

이제는 , 해당하는 게임의 성향을 알기 위해서 Tag로 된 것들을 크롤링 해야 한다 . 

그러기 위해서는 <a> 태그로 감싸진 href 주소 값을 뽑아야 했다.

# ------------------------  Get Steam _ game _ name _ Genre (Indie)

# 게임에 대한 정보를 포함하고 있는 <a> 태그 주소값들을 뽑는다 . 

game_Genre_link <- NULL 

for(url in urls)

  

{

  

  html <- read_html(url)

 

  game_Genre_link <- c(game_Genre_link, html %>% html_nodes("#NewReleasesRows") %>% html_nodes("a") %>% html_attr("href"))

    

}

우리는 특정 게임에 해당하는 href 주소 까지 가져왔다.

이 href는 해당하는 게임의 자세한 정보를 담고 있다 . 

우리는 이 주소에서 게임의 성향을 크롤링 해올 것이다.

그런데 , 크롤링을 해 올 때 , 가져온 값들을 연속된 값으로써 한 변수에 넣는 특성이 있다.

이 특성은 특정 게임에 해당하는 성향을 알고 싶거나 , 분류하고 싶을 때 문제가 된다.

그래서 , 다음처럼 function을 해줌으로써 , 특정 게임에 해당하는 성향을 분류해줄 것이다.

a 는 특정 게임에 해당하는 성향을 분류해주기 위한 주소값이라고 생각하면 된다 . 

game_Genre <- NULL

game_Genre_Filter <- NULL

Filter_str <- function(str,sep=",")

{

  paste(str,collapse = sep)

}

a <- 0 

for(url in game_Genre_link)

  

{

  a <- a + 1 

  

  download.file(url, destfile = "scrapedpage.html", quiet = TRUE , encoding = "UTF-8")

  

  html <- read_html(url)

  

  game_Genre <- c(game_Genre, html %>% html_nodes(".responsive_page_content") %>% html_nodes(".glance_tags.popular_tags") %>% html_nodes("a") %>% html_text())

  

  game_Genre_Filter[a] <- Filter_str(game_Genre) // 이 부분이 특정 게임에 해당하는 성향을 분류해주는 곳 

  

}

다음은 크롤링해온 성향에 불필요한 정보가 있어서 대체해 준 것

game_Genre_Filter <- gsub("\t","",game_Genre_Filter)

game_Genre_Filter <- gsub("\r","",game_Genre_Filter)

game_Genre_Filter <- gsub("\n","",game_Genre_Filter)

game_Genre_Filter <- gsub(" ","",game_Genre_Filter)

다음은 가져온 정보가 연속된 정보이기 때문에 , 똑같은 벡터를 만들어서 중복되는 , 즉 전에 있던 값들이 존재한다면 공백으로써 대체해 주는 작업이다.

game_Genre_Filter_real <- game_Genre_Filter[1:30]

game_Genre_Filter_real <- NULL

i <- 0

for(i in 2:30)

{

  game_Genre_Filter_real[i] <- str_replace_all(game_Genre_Filter_real[i],game_Genre_Filter[i-1],"")

  #game_Genre_Filter_real[i] <- gsub(game_Genre_Filter[i-1],"", game_Genre_Filter_real[i],perl = FALSE,fixed = FALSE, useBytes = FALSE)

 --> R에서는 특정 문자를 대체하는 함수가 있는데 , 보통 나는 gsub를 사용했었다 . 그런데 위에서 gsub를 사용하게 되면 이상하게 문법 오류가 떠서 , str_replace_all 함수를 사용하였다.

}

game_Genre_Filter_real

이제 가져온 게임의 이름과 , 장르를 하나의 데이터 프레임으로 만들어 준다 . 

data1 <- data.frame(게임=game_name , 장르=game_Genre_Filter_real)

이쁘게 왼쪽 정렬도 해주고 

data1$게임 <- format(data1$게임, justify = 'left')

data1$장르 <- format(data1$장르, justify = 'right')

이제는 가져온 데이터들을 wordcloud 를 사용해서 어떠한 성향이 제일 많은지 볼 것이다 . 

write.csv(game_Genre_Filter_real,"C:/Users/user/Desktop/졸작/Steam_Crolling/Indie_Genre.csv",append=F)

// 일단 장르를 따로 csv파일로 저장시킨다.

상대경로를 지정해주는 부분이다.

news_path <- NULL

modi_txt <- NULL

news_path <- paste0(getwd(),"/Indie_Genre.csv")

modi_txt <- readLines(news_path)

csv 파일의 행의 갯수를 정하며 , 행마다 고유 번호를 지정한다 . 

last_number_of_lines <- length(readLines(news_path))

line_numbers <- seq(1,last_number_of_lines,1)

doc_ids <- line_numbers

df <- data.frame(doc_id = doc_ids,text = modi_txt, stringsAsFactors = FALSE)

// 아까 만들어 준 고유 번호를 기반으로 데이터 프레임을 만든다.

modi_data <- Corpus(DataframeSource(df))

// Corpus 

tdm_modi <- TermDocumentMatrix(modi_data)

// Matrix 생성

TDM1 <- as.matrix((tdm_modi)) 

// TDM 생성

v=sort(rowSums(TDM1), decreasing = TRUE)

profile = data.frame(word=names(v),freq=v)

//빈도수 계산 

head(profile,10)

// 상위 10개 

word_path <- paste0(getwd(),"/Indie_Genre.csv")

// 경로 지정 

write.csv(profile, word_path)

// 경로에 csv파일 생성

data <- read.csv(word_path)

// 만들어준 csv파일 읽어옴

data <- data[,-1]

// 첫 행은 중복이니까 삭제 

data_pick <- subset(data, freq >= 0)

// 빈도수 정하기 .

head(data_pick,10)

// 상위 빈도수 10개

in_out_colors = "function(word,weight)

{return(weight > 5 ? '#4B088A':'#81F7F3')}"

// 색상 설정

wordcloud2(data_pick,shape = "diamond",size=0.7,color=htmlwidgets::JS(in_out_colors), backgroundColor = "black")  

// wordcloud 출력

최종 출력물은 다음과 같다 . 

나는 Indie 태그에서 1~2 페이지 까지만 알아 보았다 . 

역시나 , indie 성향이 제일 강한것을 볼 수 있다 . 

왜냐하면 Indie 태그였으니까 말이다.

그 다음으로 Action Access , Early ... 등등이 있다.

indie 태그라고 해서 다른 성향이 없는 건 아닌것 같다 .