※ 주의 : 불법적인 크롤링에 대한 책임은 전적으로 본인에게 있습니다. 해당 포스팅 공유에 문제가 있다면 연락 부탁드립니다. 지난글([Scrapy] 웹사이트 크롤링해서 파일 저장 하기(분양정보수집사례))에서 크롤링 결과를파일로 저장하는 방법을 소개해 드렸습니다. 파일로 남길 경우 I/F 등 송수신에는 유리 할 수 있으나, 데이터 분석 혹은 주기적 크롤링이필요할 경우에는 DB에 저장해서 관리하는 것이 데이터를 다루기에 훨씬 수월합니다.그래서 이번에는 크롤링 결과를 DB에 저장하는 방법을 소개해 드릴 예정입니다. 작업에 들어가기 전에 DB가 설치되어 있어야 하는데요. 해당 포스트에서는 비상업적/개인적 사용용도로 사용할 수 있는 MYSQL을 이용하도록 하겠습니다.설치 방법은 지난글([DB] 윈도우7에 mysq..
SAP 조회 레포트 및 테이블 조회 결과를 파일로 다운로드 해야할 일들이 종종 있습니다. 이때, 아래처럼 보안 팝업창이 뜨는데요. "상위 디렉토리와 모든 해당 하위 디렉토리를 수정할 권한을 부여하시겠습니까?" "내 결정 저장(R)"에 수없이 체크를 해도 다운로드 할때마다 팝업창이 뜹니다. 이게 은근히 귀찮을 때가 많습니다. 야근중이거나 스트레스 지수가 높아 질 때는 더더욱 그렇죠ㅡ.ㅡ;; 도대체 저 "내 결정 저장(R)" 체크버튼은 왜 있는 건지 모르겠습니다 아시는 분이 계시면 댓글 부탁드려요. 아무튼 아주 간단하게 저 팝업창을 없앨 수 있습니다. 1.SAP GUI 접속 후 화면 옵션 클릭 2.보안 → 보안 셋팅 → 보안 모듈 상태 비활성화 선택 SAP는 자타공인 최고의 ERP 시스템인 것은 분명하지만,..
SAP를 사용하다보면, 은근히 로그인이 번거로워지게 됩니다. 접속해야 하는 SAP 시스템이 여러개이거나 접속 정보(ID/PW)가 기억 나지 않는 경우 더욱 번거롭죠. 이럴때 원클릭으로 한번에 로그인을 할 수 있는 방법이 있어서 공유합니다. 먼저, 기존 방식으로 접속하는 방법을 보면 다음과 같습니다. SAP Logon 프로그램 연결 탭에 지정된 서버를 클릭 ID/PW 입력 후 접속 다른 분들도 마찬가지 시겠지만 최근 비밀번호 보안정책이 강화되면서 이제 왠만한 비밀번호는 외우는 것도 쉽지 않을 지경입니다ㅡ.ㅡ;; 그럼 이제 원클릭 자동로그인을 위한 작업은 다음과 같은 절차로 진행됩니다. 크게 어렵지 않으니, 글만 보고 작업하셔도 되구요. 헷갈리는 분들은 사진 파일 같이 보시면 한결 수월하실 겁니다 : ) [..
기업이 과거에 월별 재고를 어느정도 유지하고 있었는지, 재고 보유량이 적정한지 등을 궁금할 때 간단하게 확인해 볼 수 있는 SAP 프로그램이 "자재분석" 프로그램이다. 플랜트/저장위치/자재/자재유형/자재그룹/평가클래스별 기간별 재고내역을 분석할 수 있으며 월별 시계열 분석 및 재고 회전 계산 등 세부 분석까지 가능함. ■ T-CODE : MC.9 1.조회 조건을 입력 - 특정 자재에 대한 것만 보고 싶다면 자재란에 자재코드가 입력하거나, 그룹별, 플랜트별 조회가 가능함. 2.합계 정보 출력 - 하기 스크린샷은 특정 자재 하나만 조회한 상태임. 3.자재에 대한 상세 분석 정보 출력 - 출력된 정보를 더블클릭하면 상세 분석 정보 출력 4.시계열 정보 출력 - 출력 정보에 커서를 위치시키고 그래프 모양의 아이..
최근 웹크롤링을 활용해서 정보를 확보하고 분석하는 재미에 빠져있습니다. 지난 글에서[Scrapy] 웹사이트 크롤링해서 파일 저장 하기(분양정보수집사례)) 크롤링한 데이터를 파일로 저장하는 방법을 소개해드렸는데요. 다음에 DB에 저장하는 방법을 소개하기 위해서 mysql을 설치하였습니다. 늘 그렇듯이 겸사 겸사 설치 방법을 안내해드리기 위한 포스팅입니다 : ) mysql을 이용하기로 한 이유는 서비스를 배포하지 않고 비상업적으로 개인적인 사용을 할 경우에 무료로 사용가능하기 때문이죠 사용하시기 전에 라이선스 규정을 한번 읽어보시기 바랍니다. - 링크 : http://www.mysqlkorea.com/sub.html?mcode=product&scode=08 그럼 설치를 해보도록 하겠습니다. 1.설치파일 다운..
파이썬에서 문자열 입출력을 처리하다 보면 가끔 에러가 발생할 때가 있습니다. 작성된 코드나 문자열에 특이점이 없다고 생각되면 문자열 중간에 라틴어라던지 프랑스어 등 성조표기가 된 것이 없는지 봐야 합니다. 저는 파일에서 문자열을 불러들일 때 Café 라는 단어가 포함되어 있는 줄 모르고 도대체 왜 UnicodeEncodeError가 발생하는 건지 멘붕에 빠진적이 있었네요. "McCafé is a coffee-house-style food and drink chain"이라는 문자열을 출력하는 코드를 비교해 보겠습니다. # -*- coding: utf-8 -*- text = u"McCafé is a coffee-house-style food and drink chain, owned by McDonald's"..
※ 주의 : 불법적인 크롤링에 대한 책임은 전적으로 본인에게 있습니다. 해당 포스팅 공유에 문제가 있다면 연락 부탁드립니다. 지난글([Scrapy] 스크래피 설치 및 셋팅(Windows 환경))에서 크롤링을 하기 위한 준비 작업을 모두 마쳤습니다. 이번 포스팅은 웹사이트 정보를 가져와서 필요한 부분만 추출하고 원하는 형식으로 가공하여 파일에 저장하는 방법에 대한 글입니다. 파이썬 언어에 대한 기초적인 이해가 필요하긴 하지만 타프로그래밍 언어를 어느 정도 사용하실 줄 아신다면 느낌적인 느낌(?)으로 동작 원리 및 절차를 이해하실 수 있으실 겁니다 코드별 설명은 주석으로 달아놓았으므로 참고하시기 바라며, 추가적인 함수나 설명은 Scrapy 공식문서(영문)를 참고 부탁 드립니다. 그럼 시작해 보겠습니다. [작..
윈도우를 설치하면 기본으로 메모장을 사용할 수 있습니다. 뭐 간단하게 사용하기에는 문제가 되지 않습니다만... 부가 기능들이 없기 때문에 코딩을 할 때는 조금 불편합니다. 노트패드++(Notepad++)는 다양한 기능과 플러그인을 지원하기 때문에 소스코드를 수정하거나 인코딩을 제어하고, 매크로를 생성하는 등 부가지원하는 기능이 많습니다. 심지어 무료입니다. 울트라에디터를 개인적으로 선호하기는 하지만 유로 에디터다 보니 학생들이나 취미 생활로 코딩을 하시는 분들에게는 조금 부담이 되실 수 있습니다. 한번 사용해 보시면 좋을 것 같아서 소개시켜 드립니다. 1. 설치 파일 다운로드 : https://notepad-plus-plus.org/download/ 2.설치 : 별다른 옵션을 설정하실 필요는 없지만, 한..
매월 결산 시 GR/IR Clearing을 정리하라고 가이드 라인을 해줘도 미쳐 처리하지 못하는 내역들이 존재하는 경우에 패턴별 처리 방안 1. (BNG)GR 추가 후 클리어링 잔액을 원가로 이동 A. 진행 단계 i. 추가 입고 작업(수량 맞춤) ii. 클리어링 차이 금액 존재(차이 금액 중 소액이 잔존할 경우) iii. 클리어링 차이 금액 원가 계정으로 이관(MR11) B. 장점 i. 이평가 변화 최소화하면서 클리어링 계정 정리 가능 C. 이슈 i. 재고 수량 추가되면서 향후 떨어야 할 재고가 더 많아짐 2. (BNG)GR 추가 없이 클리어링 잔액을 원가로 이동 A. 적용범위 i. GR 수량과 IV 수량이 같으나 금액 차이가 발생하고 있는 경우 B. 진행 단계 i. 클리어링 차이 금액 원가 계정으로 이..