[Scrapy] 스크래피 설치 및 셋팅(Windows 환경)

지난 포스트([Python] 파이썬 설치 및 셋팅 방법)에서 말씀드린 것처럼 파이썬(Python)으로 

크롤링(Crawling)을 하기로 했습니다.

파이썬에는 크롤링을 지원하기 위한 대표적인 라이브러리 2가지가 있어서 

무엇을 사용할까 고민했는데요. 최종 Scrapy를 사용하게 되었습니다.

비교한 대상은 Scrapy랑 Beautifulsoup 2가지였고, 가장 큰 특징은 다음과 같습니다. 

• scrapy : 스크랩 과정(크롤링→데이터처리) 단순 
• beautifulsoup : 파이썬3 호환, 마크업 언어 처리 강점, 한글 자료 좀더 많음 

원래대로라면 당연히 한글 자료가 더 많은 beautifulsoup을 선택했어야 하나;;

간단하게 양쪽을 써본 결과 Scrapy가 제 취향에 맞네요

일단, 시작이 반이라고 Scrapy 설치 및 셋팅부터 해봅니다.

[설치 및 셋팅 과정 요약]

   1. Scrapy 인스톨 가이드 참조 : http://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy

   2. 파이썬(Python) 설치 및 셋팅 : (이전글 참고)  [Python] 파이썬 설치 및 셋팅 방법

   3. pywin32 설치 : http://sourceforge.net/projects/pywin32/    

   4. lxml 설치 : http://lxml.de/installation.html#installation

   5. pyOpenSSL 설치 : https://pypi.python.org/pypi/pyOpenSSL

   6. Scrapy 설치 : http://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy

[설치 및 셋팅 과정 상세]

1.Scrapy 인스톨 가이드 참조 : http://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy

  ※ 예전에는 설치 방법이 복잡했습니다만 엄청 간단해졌네요. 현시점에서는 이 글만 보고 설치하셔도 되지만 

      시간이 흐른뒤에 보시는 분들은 버전업에 따라 변경된 부분이 없는지 한번 꼭 읽어 보세요

2. 파이썬(Python) 설치 및 셋팅 : (이전글 참조) http://uslifelog.tistory.com/26

   ※ 파이썬 2.7.10버전 부터는 PIP 패키지가 기본 내장되어 있습니다. 덕분에 각종 패키지를 편하게 설치할 수 있지만

      환경 변수 셋팅이 필요하니 이전글에서 셋팅 방법 확인하세요. 

3. pywin32 설치 

    3-1) 설치 파일 다운로드 : http://sourceforge.net/projects/pywin32/

Browse All Files 링크 클릭

pywin32 폴더 클릭

최근 build 버전 클릭(2015.11.13 기준 219버전)

OS 버전에 따라 32bit는 win32, 64bit는 amd64 중에서

Scrapy가 파이썬 2.x버전대에서 동작하므로 py2.7 다운로드

    3-2) 설치 파일 실행 

그냥 쭈욱 다음 다음 누르시다보면 끝.

4. lxml 설치 

    4-1) 설치 가이드 라인 참조 : http://lxml.de/installation.html#installation

    4-1) PIP 패키지를 이용하여 설치 

        - command 창 열기 : (단축키)윈도우키+R → cmd 입력 후 엔터

        - 설치 명령어 입력 : pip install lxml

5. pyOpenSSL 설치 

    5-1) 설치 파일 다운로드 : https://pypi.python.org/pypi/pyOpenSSL

pyOpenSSL-0.15.1-py2.py3-none-any.whl (md5, pgp)를 클릭해서 다운로드 받은 후 C드라이브로 복사(경로 : c:\)

    5-2) PIP 패키지를 이용하여 설치 

        - command 창 열기 : (단축키)윈도우키+R → cmd 입력 후 엔터

        - 설치 명령어 입력 : pip install pyOpenSSL-0.15.1-py2.py3-none-any.whl

6. Scrapy 설치

    6-1) PIP 패키지를 이용하여 설치 

        - command 창 열기 : (단축키)윈도우키+R → cmd 입력 후 엔터

        - 설치 명령어 입력 : pip install Scrapy

    6-2) scrapy 명령어 입력하여 실행되는지 확인

예전에는 설치하는데만 한나절이 걸렸었는데, 계속 버전업이 되면서 편해졌네요

아직 수작업이 조금 들어가기는 하지만 Good!!!

 

■ 관련글 보기 

   ▷ [Python] 파이썬 설치 및 셋팅 방법

   ▷ [Scrapy] 웹사이트 크롤링해서 파일 저장 하기(분양정보수집사례)

   ▷ [Scrapy] 웹사이트 크롤링해서 DB 저장 하기(분양정보수집사례)

   ▷ [python] Unicode를 ASCII로 변환(라틴어, 성조 표기 등등)

   ▷ [DB] 윈도우7에 mysql 설치하기