컴퓨터관련59 HtmlUnit ErrorLog 안보이게 설정하기 HtmlUnit을 사용하다보면 errorLog가 콘솔창에 찍히는 경우가 있다.그럴때는 아래와 같이 하면 콘솔창에 로그가 찍히지 않는다. java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit").setLevel(java.util.logging.Level.OFF); java.util.logging.Logger.getLogger("org.apache.http").setLevel(java.util.logging.Level.OFF); 아래는 적용된 소스이다.public static void saveHtml(String url, String fileName) throws IOException { URLEncoder.encode(url, "UTF-8").. 2019. 3. 14. python 이용하여 로또 사이트 크롤링 - 당첨정보 가져오기 및 분석 이전에 작성한 공공데이터포털 api 목록 저장하기 에서 파이썬을 사용 후 빠르고 간편하게 작성할 수 있어 파이썬을 다시 보고 있는 중입니다. [컴퓨터관련] - python 이용하여 공공DataPortal 제공서비스 목록 파일로 저장하기(beautifulsoup, selenium 이용) 이번에 해볼것은 Lotto사이트의 Lotto 정보 크롤링입니다. Lotto 정보를 가져와서 통계를 내고 데이터를 추출하고 하면 재미있을것 같습니다. 우선 테이블을 만듭니다/** 로또정보 테이블 **/ create table lotto ( lotto_no int primary key comment '회차', tot_money bigint comment '총판매금', wintp_auto int comment '당첨유형-자동',.. 2019. 3. 6. 한개의 아이피에 여러개의 포트로 가상호스트 설정하기 - Apache 2.4 개발을 하다보면 가상호스트를 사용할 일이 많다. 주로 localhost 로 작업한 후 서버에 올리는게 보통인데...프로젝트가 여러개 일경우 가상호스트가 필요하다. 가상호스트의 종류에는 이름기반 가상호스트와 포트기반 가상호스트가 있다. 이름기반은 하나의 아이피에 도메인1, 도메인2 이런식으로 이름을 지정해 주는것을 말한다.그런데 이름기반 가상호스트를 사용하기 위해서는 윈도우의 경우 hosts 파일을 수정해야 한다. ( 불편해... ) 하지만 포트기반 가상호스트는 아파치 환경설정만 수정해주면 되므로 이름기반보다는 덜 불편하다. 그러면 포트기반 가상호스트를 적용하는 법을 살펴보자 httpd.conf 파일에서 가상호스트 설정 파일을 include 하도록 주석을 처리한다. # Virtual hosts#Includ.. 2019. 3. 1. python 이용하여 공공DataPortal 제공서비스 목록 파일로 저장하기(beautifulsoup, selenium 이용) python을 이용해서 공공 DataPortal 에서 제공하는 api 및 파일데이터 목록을 가져와 파일로 저장하는것을 만들어 봤습니다. 공공DataPortal에 접속해서 3000페이지가 넘는걸 일일이 클릭하기가 힘들어 python 공부도 해볼겸해서 만들어 봤습니다. python에서 사용한 모듈은 BeautifulSoup 과 Selenium 입니다. import re from selenium import webdriver from bs4 import BeautifulSoup def getHtmlFromScript(script): driver.execute_script(script) html = driver.page_source return html coptions = webdriver.ChromeOptio.. 2019. 2. 27. 이전 1 2 3 4 ··· 15 다음
