Airflow 주요 개념 정리

 

사용을 위한 기본 개념

 

 

DAG 예시

DAG: AirFlow에서 실행할 작업들은 순서에 맞게 구성한 워크플로우를 의미, Directed Acyclic Graph(유향 순환 그래프)의 약자로 DAG를 구성하는 각 작업들은 TASK라고 한다.

TASK: DAG를 구성하는 각 작업들, TASK는 Operator, Sensor, Hook 등을 사용할 수 있다.

Operator: 지정한 작업을 수행하는 실행 도구 ( ex. python operator, bash operator, postgres operator)

Sensor: 어떤 결과를 만족하는지 주기적으로 체크할 때 사용 ( ex.데이터 파이프라인에서 이전 작업의 결과물이 잘 생성되었는지 확인)

Hook: DB나 서비스 같은 외부 시스템과 통신하기 위한 인터페이스를 제공하여 연결상태 유지 ( ex. pg hook, hive hook, mysql hook)

 

DAG runs: task instance를 특정 execution date에 실행하는 DAG의 인스턴스

 

excution_date: DAG run과 task instance가 실행되는 논리적인 시간(배치작업이면 실행되기로 약속되었던 시간)

내부 구조

작성 중