구글서칭결과크롤링+CSV파일저장시키기

오늘은 구글에서 비정상트래픽을 검사한 뒤 , 서칭된 결과들을 바탕으로 ,

본문기사의 url을 가져와서 , 그 url에 해당하는 논문의 초록을 가져와 볼 것이다.

 

먼저 , 구글에 “비정상트래픽”을 검색해 본다

검색해 보면 , 비정상트래픽에 관련된 , 또는 이 단어가 포함된 결과들이 나올 것이다.

 

나는 특정 사이트를 기준으로 검색해 보고 싶었다.

 

그래서 site:www.dbpia.co.kr 비정상 트래픽 으로 검색을 해보았다.

 

검사결과는 위의 그림처럼 , 내가 검색하고자 하는 사이트별로 , 검색결과들이 추출된 것을 확인할 수 있었다.

그리고 주소를 보면 구글은 start 변수가 page 이동 변수인 것을 알 수 있었다.

 

 

 

특이한 점은 구글은 page의 이동이 있을 경우에 , page 이동값이 10씩 증가하는 것을 알 수가 있었다.

 

 

이렇게 해서 구글에서 특정 사이트를 기반으로 검색을 하는 것과 페이지의 이동 변수가 무엇인지 알 수 있다.

 

그러면 이제 코드를 통해서 어떻게 크롤링을 할 것이며 , 이 크롤링 값들을 csv파일로 어떻게 저장시키는지 확인해 보자

 

library(rvest)

library(dplyr)

library(XML)

 

우선 위의 이 작업을 하기 위한 위 library를 로딩시켜 준다.

 

 

우리는 1~5페이지 까지의 검색결과들을 다룰 것이다 .

그렇기 때문에 주소를 2개로 나누어서 각각 별도의 변수를 만들어서 다룰 필요를 느낀다.

 

First_url <- "https://www.google.co.kr/search?q=site:www.dbpia.co.kr+%EB%B9%84%EC%A0%95%EC%83%81+%ED%8A%B8%EB%9E%98%ED%94%BD&ei=2JbyW73FIIKy8QXfprGQDQ&start="

# start를 기준으로 앞 주소

 

Second_url <- "&sa=N&ved=0ahUKEwi9kebxpeDeAhUCWbwKHV9TDNIQ8tMDCEI&biw=1218&bih=650&dpr=1.5"

# start를 기준으로 뒤 주소

 

urls <- NULL

# 완전한 url의 주소값을 저장시킬 변수

 

for(num in 1:5)

{

  urls[num] <- paste0(First_url,as.character(num*10),Second_url) 

}

è  1~5페이지의 주소값들을 가져올 것이며 , 여기서 중요하게 볼 곳은 , num*10이다

è  왜냐하면 페이지의 이동이 10씩 증가하는 것을 알 수가 있었기 때문이다.

Urls의 결과값

> urls

[1] "https://www.google.co.kr/search?q=site:www.dbpia.co.kr+%EB%B9%84%EC%A0%95%EC%83%81+%ED%8A%B8%EB%9E%98%ED%94%BD&ei=2JbyW73FIIKy8QXfprGQDQ&start=10&sa=N&ved=0ahUKEwi9kebxpeDeAhUCWbwKHV9TDNIQ8tMDCEI&biw=1218&bih=650&dpr=1.5"

[2] "https://www.google.co.kr/search?q=site:www.dbpia.co.kr+%EB%B9%84%EC%A0%95%EC%83%81+%ED%8A%B8%EB%9E%98%ED%94%BD&ei=2JbyW73FIIKy8QXfprGQDQ&start=20&sa=N&ved=0ahUKEwi9kebxpeDeAhUCWbwKHV9TDNIQ8tMDCEI&biw=1218&bih=650&dpr=1.5"

[3] "https://www.google.co.kr/search?q=site:www.dbpia.co.kr+%EB%B9%84%EC%A0%95%EC%83%81+%ED%8A%B8%EB%9E%98%ED%94%BD&ei=2JbyW73FIIKy8QXfprGQDQ&start=30&sa=N&ved=0ahUKEwi9kebxpeDeAhUCWbwKHV9TDNIQ8tMDCEI&biw=1218&bih=650&dpr=1.5"

[4] "https://www.google.co.kr/search?q=site:www.dbpia.co.kr+%EB%B9%84%EC%A0%95%EC%83%81+%ED%8A%B8%EB%9E%98%ED%94%BD&ei=2JbyW73FIIKy8QXfprGQDQ&start=40&sa=N&ved=0ahUKEwi9kebxpeDeAhUCWbwKHV9TDNIQ8tMDCEI&biw=1218&bih=650&dpr=1.5"

[5] "https://www.google.co.kr/search?q=site:www.dbpia.co.kr+%EB%B9%84%EC%A0%95%EC%83%81+%ED%8A%B8%EB%9E%98%ED%94%BD&ei=2JbyW73FIIKy8QXfprGQDQ&start=50&sa=N&ved=0ahUKEwi9kebxpeDeAhUCWbwKHV9TDNIQ8tMDCEI&biw=1218&bih=650&dpr=1.5"

 

주소값들이 제대로 들어온 것을 확인할 수 있다.

 

links <- NULL

# 본문기사에 있는 링크를 저장시킬 변수

for(url in urls)

{

  html <- read_html(url)

 

links <-c(links, html %>% html_nodes('.r') %>% html_nodes('a')%>% html_attr('href')%>% unique() )

}

è  저장되어 있는 구글 1~5페이지를 기준으로 html을 긁어온다 .

è  긁어온 html에서 본문기사에 해당하는 url 주소를 가져온다

 

그런데 , links를 긁어오면 한가지 문제점을 알 수 있을 것이다 .

위의 그림처럼 href의 속성값을 보면 특정 주소값을 기반으로 검색하는 본문 주소값이 없다…

그래서 우리는 긁어온 links에 구글주소값을 넣어줄 필요가 있다.

 

links <- paste0("https://www.google.co.kr/",links[1:50])

이제 본문기사에 해당하는 links도 구했다.

Links를 기반으로 본문 기사에 해당하는 초록부분을 크롤링해 보자

 

 

Simlple_Contxt <- NULL

# 크롤링한 초록의 내용이 담길 변수

 

 

 

우리는 본문기사에 들어가서 con_txt가 초록의 내용을 담고있는 태그라는 것을 알 수 있다.

 

for(link in links)

{

  html <- read_html(link)

  Simlple_Contxt <- c(Simlple_Contxt, html %>% html_nodes('.con_txt') %>% html_text())

}

è  위 for문을 통해서 초록부분을 크롤링한다

 

그런데 , 가져온 초록의 내용을 보면 데이터가 너무 안이쁘게 되어있다.

그래서 정제 작업을 해 준다.

 

Simlple_Contxt <- gsub("\r","",Simlple_Contxt)

Simlple_Contxt <- gsub("\n","",Simlple_Contxt)

Simlple_Contxt <- gsub(" ","",Simlple_Contxt)

위 작업을 통해 불필요한 부분을 대체해 준다.

Simlple_Contxt

[430] "DBpia추천논문더많은추천논문을확인해보세요!웹트래픽분석을통한유해트래픽탐지신현준,최일준,추병균,오창석,한국컴퓨터정보학회,한국컴퓨터정보학회논문지12(2),2007,221-229K29PLH아키텍츠,UAB아키노바,현대건축사,월간CONCEPT(211),2016,78-87클러스터링을이용한유해트래픽탐지신동혁,최형기,한국정보과학회,한국정보과학회학술발표논문집,2015,912-914공격탐지를위한트래픽수집및분석알고리즘유대성,오창석,한국콘텐츠학회,한국콘텐츠학회논문지4(4),2004,33-43유해트래픽방향에따른침입탐지기법분석최병하,한국정보과학회,한국정보과학회학술발표논문집39(1A),2012,57-59" 

특정 부분을 가져와 본 것인데, 나름 이쁘게 잘 나왔다.

 

이제 크롤링한 결과값들 csv 파일로 컴퓨터 특정 경로에 지정시켜 보자

 

write.csv(Simlple_Contxt,"C:/Users/user/Desktop/3학년2학기/데이터마이닝과통계/기말고사/기말_HW2/비정상 트래픽/Simple_Contxt.csv")

 

è  이 때 write함수를 사용해서 csv로 저장시켜 준다 .

 

정확하게 csv파일로 저장이 되었따!!