DevOps/#Continuous Testing 썸네일형 리스트형 [Data Pipeline] Apache Airflow 기반의 데이터 파이프라인 (2) 목차1. Apache Airflow 살펴보기Airflow 소개파이썬 코드로 유연한 파이프라인 정의Airflow를 사용하면 파이프라인이나, 워크플로우 태스크를 방향성 비순환 그래프(DAG)로 정의할 수 있다. 더불어, Airflow는 파이썬 스크립트로 DAG의 구조를 정의하고 구성하는데, 일반적으로 DAG 파일 안에는 주어진 DAG에 대한 태스크 집합과 태스크 간의 의존성을 기술하고, Airflow는 이 DAG의 구조를 식별하기 위해 코드를 Parsing 한다. 이 외에도, DAG 파일 안에는 Airflow의 실행 방법과 시간 등을 정의한 추가 메타데이터가 포함될 수 있다.Airflow DAG를 Python 코드로 정의함으로써 추후 외부의 데이터베이스, 빅데이터 기술 및 클라우드 서비스를 포함한 시스템에서.. 더보기 [Data Pipeline] Apache Airflow 기반의 데이터 파이프라인 (1) 목차1. Apache Airflow 살펴보기데이터 파이프라인 소개일반적인 데이터 파이프라인은 원하는 결과를 얻기 위해 실행되는 여러 태스크 또는 동작으로 구성된다.예를 들어, 다음 주 날씨를 알려주는 쇼핑몰의 날씨 대시보드를 구축하는 시퀀스에서, 다음의 태스크가 수행되어야 한다.다른 시스템의 날씨 API를 통해 일기 예보 데이터를 가져온다.서비스 목적에 맞도록 데이터를 정제하거나 변환(ex. 온도를 화씨에서 섭씨로 변환) 한다.변환된 데이터를 날씨 대시보드로 전송한다.위의 3가지 서로 다른 태스크는 프로세스 실행 시 정해진 순서대로 진행되어야 한다.데이터 파이프라인 그래프태스크 간 의존성을 명확하게 확인하기 위해 데이터 파이프라인을 그래프로 표현할 수 있다. 태스크는 노드로, 태스크 간 의존성은 노드 간.. 더보기 [CI/CD] Polyspace, VectorCast, Hotfix 목차Hotfix제품 사용 중에 발생하는 버그의 수정이나 취약점 보완, 또는 성능 향상을 위해 긴급히 배포되는 패치 프로그램MS 윈도우 환경에서의 Hotfix는 특정한 문제를 해결하는 조그마한 패치들을 가리키며, 대부분 보안 허점에 해당하는 문제들을 해결함핫픽스 파일들은 대부분 크기가 작으며, 윈도우 업데이트(또는 마이크로소프트 지원)를 사용하여 컴퓨터 상에 자동으로 설치되는 것이 보통임게임회사 "블리자드 엔터테인먼트"의 경우에는 정규적인 콘텐츠 패치를 기다릴 수 없을 정도로 중요한 게임의 변경 사항을 가리키는 용어로 사용함다운로드가 불필요한 서버 측면의 변경만을 요구하며, 정비시간이 없어도 짧은 재시작만으로도 이 기능을 수행할 수 있음출처: [쓸겜지] 핫픽스란? (Hotfix) (tistory.com) .. 더보기 [CI/CD] ATS(TestPresso), CANalyzer 목차ATS(Automation Total Solution)HW/SW 기능 및 성능 검증 솔루션TestPresso by LGE2019.08.19 - 산업 기능안전 글로벌 규격 인증 획득독일 TUV SUD 로부터 전기, 전자 시스템 기능 안전 국제표준인 'IEC 61508'과 자동차 기능안전 국제표준인 'ISO 26262' 등을 만족하며 안전성을 입증함TUV SUD : 전기/전자제품, 자동차, 에너지장치 등과 관련된 규격을 인증하는 글로벌 인증기관으로 공신력이 높음, 설계 단계부터 기능 검증, 개발을 위한 관리시스템 구축과 운용 등에 이르기까지 개발 전 딘계에 걸쳐 국제 표준에 부합하는지에 대해 철저하게 심사함LG전자는 스마트 가전, 자동차 부품, 로봇 등을 개발하고 품질 검증할 때 TestPresso 를 .. 더보기 이전 1 다음
