Airflow

[Airflow] - Airflow 기본 Concept과 Scheduler

2 분 소요

Helm에 관해서 알아보던 중 Airflow의 기본 구조에 대해서 명확하게 정리가 되어있지 않은 상태인 것을 직시했다. 그래서 오늘은 Airflow 기본 Concept 및 Scheduler에 대해서 정리해보자.

WSL에서 Airflow 접속이 되지 않을때

최대 1 분 소요

개인 프로젝트를 위해 WSL에서 Airflow를 사용 중인데 잘 되던 것이 갑자기 되지 않았다. 현상은 localhost:port로 접속하면 아무런 반응이 없는 것이다. cmd에서 telnet localhost port 을 해도 별다른 반응이 없다.

Airflow DAG 생성 / Operator 구성

4 분 소요

오늘은 Airflow의 DAG Task를 생성하는 방법에 대해서 정리해보려 한다. 기본적으로 DAG을 어떻게 생성하는지와 Operator 의 종류 및 구성에 대해서 살펴보자.