지난 포스트([Python] 파이썬 설치 및 셋팅 방법)에서 말씀드린 것처럼 파이썬(Python)으로 크롤링(Crawling)을 하기로 했습니다. 파이썬에는 크롤링을 지원하기 위한 대표적인 라이브러리 2가지가 있어서 무엇을 사용할까 고민했는데요. 최종 Scrapy를 사용하게 되었습니다. 비교한 대상은 Scrapy랑 Beautifulsoup 2가지였고, 가장 큰 특징은 다음과 같습니다. scrapy : 스크랩 과정(크롤링→데이터처리) 단순 beautifulsoup : 파이썬3 호환, 마크업 언어 처리 강점, 한글 자료 좀더 많음 원래대로라면 당연히 한글 자료가 더 많은 beautifulsoup을 선택했어야 하나;; 간단하게 양쪽을 써본 결과 Scrapy가 제 취향에 맞네요 일단, 시작이 반이라고 Scrap..
웹 사이트 정보를 추출(크롤링)하기 위해 어떤 언어를 사용할까 고민했는데요. 개인용도로 사용하기 위한 것인 만큼 빠른 생산성을 자랑하는 파이썬(Python)을 선택했습니다. 파이썬의 장점은 짧은 코딩(?)과 배우기 쉽다(?)는 점이죠 구글에서 많이 사용하는 것 때문에 유명하기도 하구요. 이전 포스팅에서 언급한 것 처럼 팀뷰어(Teamviewer) 아이디가 도용되어서 피씨를 포맷하는 바람에 파이썬(Python)을 다시 설치하게 되었습니다ㅜ 현재 최신 버전은 3.5.0이지만, 제가 사용하고 있는 3'rd Party 제품들이 아직 2.x 버전에서만 돌아가는 것들이 많아서 저는 2.7.10 버전을 설치하였습니다. 설치에 어려움을 겪으시는 분들은 없으시겠지만, 혹시나 하는 마음에 설치 절차 및 셋팅 방법을 한땀 ..