반응형
구글서칭결과크롤링+CSV파일저장시키기
학부공부/데이터마이닝과통계2018. 11. 19. 23:19구글서칭결과크롤링+CSV파일저장시키기

오늘은 구글에서 비정상트래픽을 검사한 뒤 , 서칭된 결과들을 바탕으로 , 본문기사의 url을 가져와서 , 그 url에 해당하는 논문의 초록을 가져와 볼 것이다. 먼저 , 구글에 “비정상트래픽”을 검색해 본다 검색해 보면 , 비정상트래픽에 관련된 , 또는 이 단어가 포함된 결과들이 나올 것이다. 나는 특정 사이트를 기준으로 검색해 보고 싶었다. 그래서 site:www.dbpia.co.kr 비정상 트래픽 으로 검색을 해보았다. 검사결과는 위의 그림처럼 , 내가 검색하고자 하는 사이트별로 , 검색결과들이 추출된 것을 확인할 수 있었다. 그리고 주소를 보면 구글은 start 변수가 page 이동 변수인 것을 알 수 있었다. 특이한 점은 구글은 page의 이동이 있을 경우에 , page 이동값이 10씩 증가하는 ..

반응형
image