본문 바로가기

데이터분석

[퀀트] R을 활용한 퀀트 투자 포트폴리오 만들기 (6) Chapter 6 금융 데이터 수집하기 (심화) 6.1 수정주가 크롤링 이번 챕터에서는 수정주가, 재무제표, 가치지표를 크롤링함 국내 중소형주나 종목의 수정주가를 크롤링하기 위해 네이버 금융판을 이용함 6.1.1 개별종목 주가 크롤링 네이버 금융의 차트 탭에서 사용하는 데이터를 url에서 확인 > 날짜별 수정주가 기준의 시가, 고가, 저가, 종가, 거래량 데이터를 받아옴 이때 다른 종목의 데이터를 받아오고 싶다면 url 주소의 symbol= 뒤 티커만 변경해주면 됨 library(stringr) # 이전 챕터에서 저장한 파일 불러오기 KOR_ticker = read.csv('data/KOR_ticker.csv', row.name = 1) print(KOR_ticker$'종목코드'[1]) (결과) 6자리 .. 더보기
[UDA] 비정형데이터-군집화 연결이 많은 개체들끼리 묶어줌 UCINET에서 행렬 위치를 바꿔서 재조합할 수 있음 유튜브에서 설명한 트위터 사례와 같은 맥락 R로도 가능한 작업, 직관적인 표현을 위해 UCINET 사용 유튜브에서 다뤄지는 network community detection과는 살짝 개념이 다름 위 분석에서는 빨간 부분도 community, 이 분석에서는 파란 core 부분만 유의미함 UCINET에서 페짓-바탕화면에 저장 - 파일 열기 페짓은 연결망이 2개 (비즈니스, 애트리빗?) core 분석을 하면 ucinet에서 노드의 색을 바꿔서 분류별 다르게 보여줄 수 있음 degree centrality에 따라 사이즈를 달리할 수 있음 분석 후 matrix 뒤에 붙어온 정보를 활용할 수도 있음 (어떤 카테고리 중심으로 할 것인.. 더보기
[Framework] TensorFlow의 설치 및 작동법 (출처) inflearn 모두를 위한 딥러닝 - 기본적인 머신러닝과 딥러닝 강좌, Sung Kim Conda에 TensorFlow 설치하는 방법 https://tensorflow-object-detection-api-tutorial.readthedocs.io/en/latest/install.html#tensorflow-cpu Installation — TensorFlow Object Detection API tutorial documentation Install Anaconda Python 3.7 (Optional) Although having Anaconda is not a requirement in order to install and use TensorFlow, I suggest doing so, .. 더보기
[ML] 머신러닝/딥러닝 - 모두를 위한 딥러닝 (1) (출처) inflearn 모두를 위한 딥러닝 - 기본적인 머신러닝과 딥러닝 강좌, Sung Kim OT. 수업 소개와 개요 수강 대상 머신러닝이 궁금한 사람 수학, 컴퓨터에 대한 백그라운드가 약한 사람들도 가능 (y = ax + b 정도의 이해도) 머신러닝은 알고리즘이 잘 구현되어있는 툴을 사용하기 때문에 쉽게 활용 가능 텐서플로우, 파이썬을 활용하고 싶은 사람 수업으로 얻을 수 있는 것 머신러닝에 대한 기본적인 이해 딥러닝을 이해하기 위한 기본적인 알고리즘 (회기분석, 로지스틱 회귀분석) 텐서플로우, 파이썬을 활용하여 문제해결 수업 형식 10분 가량의 렉처 텐서플로우를 활용해 프로그래밍하는 법을 익히는 랩 참고사이트 (앤드류 응 교수의 머신러닝 수업) http://class.coursera.org/ml.. 더보기
[EDA] 사회연결망 분석 지표 실습 : 내부 연결망이 확고한지, 외부 연결망이 확고한지를 확인하는 방법 E-I Index 값이 -1에 가까울 수록 자신이 속한 그룹에 대한 연결이 강함 Cross activity 그룹간 교류하는 정도를 파악하는 지표 네트워크 수준을 개인 수준과 집단 수준에서 비교할 수 있음 이를 위해 개인이 속한 집단과 그 집단 간의 관계가 뚜렷해야 함 개인의 원래 가지고 태어난 속성(attribute)이 아닌 네트워크 내에서 정의한 개인의 속성일 수도 있음 R에서는 활용할 수 있는 툴이 없음 Transitivity ▤ 지인의 지인끼리 알고 있을 가능성이 높은 것 3자면 관계 ▶ 닫혀있는 관계에서 가능성이 가장 높음 집단 간의 결속력이 높은 집단 ▶ 초기에는 삼각형이었던 집단이 점점 노드와 결속력을 높여가는 단계 Cl.. 더보기
[EDA] 사회연결망분석: 주요 개념 및 자료 Degree Centrality (방향 중앙성) Indegree와 outdegree로 구별됨 simple count, standardized Closeness Centrality (인접중앙성) : 한 결점이 다른 한 결점에 도달하는 최소단계를 연결망의 모든 결점으로부터 구해 합산 한 결점이 다른 결점에 도달하는 최소 경로거리 모든 다른 결점에 대해 계산해서 합산 = Farness로 표기되어 풀력되며 작은 숫자일수록 경로거리가 짧음 직관적 이해를 위해 역수를 취함 =1/Farness Closeness가 높을수록 중앙성이 높아짐 표준화는 인접성/ 논리적으로 가능한 최소 인접성 Betweenness Centrality (사이중앙성) 연결망 내의 한 점을 제외한 논리적으로 연결가능한 연결의 수를 센다 > (n-.. 더보기
[ML] 머신러닝/딥러닝 - 모두를 위한 딥러닝 (2) (출처) inflearn 모두를 위한 딥러닝 - 기본적인 머신러닝과 딥러닝 강좌, Sung Kim 섹션 1. 기본적인 Machine Learning 의 용어와 개념 설명 ML : 일종의 프로그램 스팸 필터 개발자들이 일일이 스팸메일을 가려내기 힘듦 Automatic driving 마찬가지로 적용해야 하는 룰이 너무 많음 ▶ Arthur Samuel 프로그램이 자동적으로 배우도록 하는 아이디어를 냄 Learning : Supervised learning 레이블이 정해져있는 데이터(training set)으로 학습하는 방법 ▶ 일반적인 머신러닝의 형태 ▶ 이미지 레이블링, 이메일 스팸 필터, 시험 성적 예측 등에 사용할 수 있음 Training data Set : 결과값이 이미 정해져있는 Y값을 예측할 수 .. 더보기
[UDA] 비정형데이터분석 Social Network Analysis : 구조가 위치와 역할을 만든다는 분석이론 ▶ Meditz가문에 반역을 꾀할 가능성이 가장 높은 가문은 어느 곳인가? (사진 참고) 사람들의 mindmap이 다르다는 것 ▶ 거리가 멀 수록 도달하는데 시간이 많이 걸림 단어들을 통한 개념 map을 만들 수도 있음 항상 위치, 구조, 역할이 함께 작동한다는 것이 중요 초등학생의 또래 친구 집단의 변화 : 개인의 역할이나 위치가 변한 것이 아닌 전체적인 구조가 변한 것 집단 구조의 변화가 아닌 개인의 구조와 역할의 변화 ☞ 친한 친구들이 옆에 있는 짝이 아닌 학원을 같이 다니는 친구들끼리 친해지는 현상을 보일 수 있음 동일한 unit 내에서 상이한 네트워크를 구분함 ☞ 캐빈 베이컨의 법칙 : 미국 할리우드의 허브 중.. 더보기