본문 바로가기

전체 글98

python 이용하여 로또 사이트 크롤링 - 당첨정보 가져오기 및 분석 이전에 작성한 공공데이터포털 api 목록 저장하기 에서 파이썬을 사용 후 빠르고 간편하게 작성할 수 있어 파이썬을 다시 보고 있는 중입니다. [컴퓨터관련] - python 이용하여 공공DataPortal 제공서비스 목록 파일로 저장하기(beautifulsoup, selenium 이용) 이번에 해볼것은 Lotto사이트의 Lotto 정보 크롤링입니다. Lotto 정보를 가져와서 통계를 내고 데이터를 추출하고 하면 재미있을것 같습니다. 우선 테이블을 만듭니다/** 로또정보 테이블 **/ create table lotto ( lotto_no int primary key comment '회차', tot_money bigint comment '총판매금', wintp_auto int comment '당첨유형-자동',.. 2019. 3. 6.
한개의 아이피에 여러개의 포트로 가상호스트 설정하기 - Apache 2.4 개발을 하다보면 가상호스트를 사용할 일이 많다. 주로 localhost 로 작업한 후 서버에 올리는게 보통인데...프로젝트가 여러개 일경우 가상호스트가 필요하다. 가상호스트의 종류에는 이름기반 가상호스트와 포트기반 가상호스트가 있다. 이름기반은 하나의 아이피에 도메인1, 도메인2 이런식으로 이름을 지정해 주는것을 말한다.그런데 이름기반 가상호스트를 사용하기 위해서는 윈도우의 경우 hosts 파일을 수정해야 한다. ( 불편해... ) 하지만 포트기반 가상호스트는 아파치 환경설정만 수정해주면 되므로 이름기반보다는 덜 불편하다. 그러면 포트기반 가상호스트를 적용하는 법을 살펴보자 httpd.conf 파일에서 가상호스트 설정 파일을 include 하도록 주석을 처리한다. # Virtual hosts#Includ.. 2019. 3. 1.
python 이용하여 공공DataPortal 제공서비스 목록 파일로 저장하기(beautifulsoup, selenium 이용) python을 이용해서 공공 DataPortal 에서 제공하는 api 및 파일데이터 목록을 가져와 파일로 저장하는것을 만들어 봤습니다. 공공DataPortal에 접속해서 3000페이지가 넘는걸 일일이 클릭하기가 힘들어 python 공부도 해볼겸해서 만들어 봤습니다. python에서 사용한 모듈은 BeautifulSoup 과 Selenium 입니다. import re from selenium import webdriver from bs4 import BeautifulSoup def getHtmlFromScript(script): driver.execute_script(script) html = driver.page_source return html coptions = webdriver.ChromeOptio.. 2019. 2. 27.
정규표현식... java -jar sfj.jar -t [command] -u [ubuntu] -p [20120125] -h [200.168.200.43] -c [cd /CloudESM/app/dms; echo "+password+" | sudo -S ./dms-client.sh start] 이런식으로 여러개의 옵션이 있을경우 각각의 옵션을 추출하는 정규표현식... -\w{1}\s+\[(.+?)\] 설명 : 옵션은 -t, -h, -c 처럼 -과 하나의 문자로 시작 => -\w{1} 공백이 있음 => \s+ parameter들은 [과 ]으로 이루어져 있음 => \[ paramter 추출 => (.+?) parameter들은 [과 ]으로 이루어져 있음 => \] 이상... 2017. 9. 7.
chmod 디렉토리만 또는 파일만 지정하기(하위디렉토리 포함) 디렉토리만 설정할때 chmod 755 $(find 위치 -type d) 파일만 설정할때 chmod 644 $(find 위치 -type f) 2017. 2. 11.
ffmpeg 간단한 사용법 ffmpeg code list $> ffmpeg -codecs ffmpeg formats list $> ffmpeg -formats libfaac 대신에 libvo_aacenc를 사용해도 됨(윈도우에서). 기본적인 변환법 (코덱적용) -- 오디오코덱을 aac로 변환 $> ffmpeg -i 원본파일 -c:a libfaac 변환파일명 -- 비디오코덱을 h264로 변환 $> ffmpeg -i 원본파일 -c:v libx264 변환파일명 -- 비디오코덱은 그대로 오디오코덱만 변환 $> ffmpeg -i 원본파일 -c:v copy -c:a libfaac 변환파일명 -- 오디오코덱은 그대로 비디오코덱만 변환 $> ffmpeg -i 원본파일 -c:a copy -c:v libx264 변환파일명 -- bitrate 셋팅 .. 2017. 1. 27.
Java 이용하여 S3 progress download 하기 AWS S3를 이용하는데 s3에 있는 파일을 다운로드를 해야 할때 아래와 같이 하면 된다. 우선 AWS-LIB를 (https://aws.amazon.com/ko/sdk-for-java/) 여기에서 받아서 프로젝트에 import한다. s3에 있는 파일을 java를 이용하여 다운로드하는 단계는 다음과 같다. 1. ProfileCredentialsProvider 를 이용해서 AWSCredentials 을 얻어온다. credentials = new ProfileCredentialsProvider( credential파일위치, 프로파일이름 ).getCredentials( ); ~/.aws/ 디렉토리에 credentials 파일을 만들어두면 아래와 같이 하지 않고 위와 같이 바로 적용할 수 있다. credentia.. 2017. 1. 27.
AWS S3 Uploader Progress 이용하여 uploading 하기 AWS S3를 이용하는데 로컬에 있는 파일을 업로드를 해야 한다. 일일이 하나씩해도 되지만... 자바를 이용해서도 할 수 있다. 우선 AWS-LIB를 (https://aws.amazon.com/ko/sdk-for-java/) 여기에서 받아서 프로젝트에 import한다. 업로드 단계는 다음과 같다. 1. ProfileCredentialsProvider 를 이용해서 AWSCredentials 을 얻어온다. credentials = new ProfileCredentialsProvider() .getCredentials( credential파일위치, 프로파일이름 ); ~/.aws/ 디렉토리에 credentials 파일을 만들어두면 아래와 같이 하지 않고 위와 같이 바로 적용할 수 있다. credentials =.. 2017. 1. 27.

티스토리툴바