본문 바로가기

전체 글

[퀀트] R을 활용한 퀀트 투자 포트폴리오 만들기 (3) Chapter 3 API를 이용한 데이터 수집 API는 주소를 갖고 있는 사람이라면 누구나 이용할 수 있고 접근 속도가 빠르며 데이터 가공이 수월하다는 장점이 있음 대부분의 해외 금융 기업은 데이터를 API로 제공하기 때문에 퀀트 투자에 API의 이해는 필수! 3.1 API를 이용한 Quandl 데이터 다운로드 Quandl은 API로 데이터를 무료로 제공하는 업체 R에서 바로 애플의 주가 데이터 다운로드하는 것이 효율적 url.aapl = "https://www.quandl.com/api/v3/datasets/WIKI/AAPL/data.csv?api_key=xw3NU3xLUZ7vZgrz5QnG" data.aapl = read.csv(url.aapl) head(data.appl) Date Open High.. 더보기
[퀀트] R을 활용한 퀀트 투자 포트폴리오 만들기 (4) Chapter 4 크롤링 이해하기 크롤링에서 서버에 파일을 요청하는 방법은 크게 GET과 POST 방식이 있음 4.1.1 GET 방식 인터넷 주소를 기준으로 파일을 요청하는 방식요청 쿼리는 주로 &, ? 형식으로 결합되어 서버에 전달함&[GET 방식 사용]skinType[입력 종류]=business[입력값]?skinType=derivative < 탭 변경 시?skinType=derivative&sdate[검색시작시점]=2020-07-03&edate[검색종료시점]=2020-08-03&order_type=&now_page[현재 페이지]=2 4.1.2 POST 방식 사용자가 필요한 값을 추가해 요청하는 방식 요청 쿼리가 body 부분에 있으므로 그 내역을 직접 볼 수 없음 날짜를 변경해 검색해도 웹 페이지 주.. 더보기
[하둡] 하둡으로 데이터 다루기 (2) Chapter 2 Hadoop 1. 빅데이터의 4V Volume, Velocity, Variety, Veracity ㅎㅎ 2. 하둡 컴퓨터 클러스터에 퍼져있는 거대 데이터셋을 분산 환경에서 쉬운 프로그래밍 모델로 처리할 수 있도록 도와주는 프레임워크 하나의 서버에서 수천 개의 서버로 규모를 키울 수 있도록 설계되었으며 어플리케이션 단에서 결함을 발견해 하드웨어의 보고에 의존할 필요가 없음 → 서버 클러스터 위에서 고가용성 서비스를 할 수 있도록 함 2-1 하둡의 모듈 Hadoop Common: 다른 하둡 모듈을 지원하기 위한 공통 유틸리티 Hadoop Distributed File System (HDFS): 높은 처리량으로 데이터에 접근하는 분산 파일 시스템 Hadoop YARN: 작업 스케쥴링, 자원 .. 더보기
[하둡] 하둡으로 데이터 다루기 (1) Chapter 1. 파이썬 정규표현식 다시보기 # Chapter 1. 파이썬 정규표현식 다시보기 !pip install regex > Requirement already satisfied: regex in c:\users\leejiwon\anaconda3\lib\site-packages (2020.7.14) import regex import re # Task 1. 유효한 이메일일까? email_validator = re.compile('[a-z]+') print(email_validator.match('schoolfaiBellevue')) > email_validator = re.compile("[a-z]") print(email_validator.match('schoolfaiBellevue')) > .. 더보기
[퀀트] R을 활용한 퀀트 투자 포트폴리오 만들기 (2) Chapter 2 크롤링을 위한 기본 지식 2.1 인코딩의 이해와 R에서 UTF-8 설정하기 2.1.1 인간과 컴퓨터 간 번역의 시작, ASCII 인코딩: 인간언어를 컴퓨터 언어(0, 1)로 디코딩: 인코딩의 반대 번역의 시초는 ASCII(American Standard Code for Information Interchange) 0~127까지의 숫자에 단어 및 특수문자를 부여한 체계로 영어 알파벳만을 지원함 2.1.2 한글 인코딩 방식의 종류 ‘알’이라는 글자를 ‘알’로 표현하는 완성형, ‘ㅇ＋ㅏ+ㄹ’로 표현하는 조합형 1) EUC-KR 현대 한글에서 많이 쓰이는 문자엠나 번호를 붙임 모든 자모 조합을 표현하기 부족 2) CP949 EUC-KR을 보완하기 위해 MS가 개발 더 많은 한글을 표현할 수 있.. 더보기
[퀀트] R을 활용한 퀀트 투자 포트폴리오 만들기 (1) https://hyunyulhenry.github.io/quant_cookbook/ R을 이용한 퀀트 투자 포트폴리오 만들기 본 페이지는 R을 이용한 퀀트 투자 포트폴리오 만들기의 웹사이트 입니다. 책의 수정 사항이 있을시 즉시 반영할 예정이며, 책에서 다루지 못했던 추가적인 내용도 지속적으로 업데이트 할 예정 hyunyulhenry.github.io Chapter 1. 퀀트 투자의 심장: 데이터와 프로그래밍 데이터 사이언티스트가 하는 업무와 매우 비슷함 import -> tidy -> (transfrom -> visualize -> modeling) -> communicate 1.1 데이터 구하기 해외 금융 데이터는 Quandl, tiingo에서 비교적 저렴하게 구할 수 있음 국내 데이터는 야후 fin.. 더보기
[EDA] Tableau를 활용한 시각화 휴스턴 : sales도 많은데 discount가 많다보니 profit이 떨어짐 (팔면 팔 수록 밀어내는 곳; 구조조정이 되고 있는 곳)워싱턴 : 캘리포니아와 비슷한 사정 가장 성공한 도시는 뉴욕과 캘리포니아, 팔면 팔 수록 밀어내는 중인 도시는 철거하는 중 도시적으로 봤을 때 이 회사의 특징은 동부와 서부에 판매가 맞춰져 있다는 것 (동부와 서부는 fail하는 중)느낌 상 IT 회사인 것 같음 신경써야 할 지점 : california와 NewYork을 중심으로 생각했을 때, 이 두지역이 전체 매출에서 차지하는 비중항목을 4개를 보여주고 있으므로 어떤 지표를 보여줘야 할 것인지를 잘 생각해야 함     sales는 높은데 quantity는 작은 것 (물건 하나 당 가격이 높을 것이라고 예측)capier나 .. 더보기
[Python] 모듈과 그래픽 객체 목표 다양한 기능을 불러서 사용하기 위한 모듈 기능을 이해 다양한 그래픽 객체를 생성하고 변형시켜 애니메이션 만들기 모듈 math 모듈 : sin, cos, tan 등 수학 함수를 제공 random 모듈 : 난수, 무작위 섞기 등의 함수들을 제공 sys, os : 운영체제와 관련된 함수들을 제공 urllib : 인터넷 관련 함수들을 제공 cs1robots : 휴보에 관련된 함수들을 제공 cs1graphics : 그래픽과 관련된 함수들을 제공 cs1media : 사진의 처리와 관련된 함수들을 제공 ☞ 모듈의 정보는 help 함수를 통해 볼 수 있음 help("cs1media") help("cs1media.picture_tool") 모듈 들여오기 ▒ 모듈을 사용하려면 import 키워드 사용 import m.. 더보기

티스토리툴바