airflow 설치 [locally] on m1

airflow 설치 [locally] on m1

airflow는 빅데이터의 ETL(Extraction -> Transformation -> Loading) workflow를 관리하는 플랫폼(툴)이다.
pipline이 많아지면서 관리가 어려워지는 걸 쉽게 하기 위해 AirBnB에서 만들었다.(Apache lincese, 오픈소스)

4가지 구성요소가 있다.
Webserver
Scheduler
Excutor
Workers

Dag(Directed Acyclic Graph)를 이용하여 Workflow를 작성한다.

1. 설치환경

m1 맥북 에어
python 3.9

2. 설치

python3 -m pip install "apache-airflow==2.3.3" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.3.3/constraints-3.9.txt"

위 방법으로 설치하면 알아서 환경변수를 잡아준다.

3. 실행

airflow standalone

터미널 콘솔에서 "Airflow is ready"문구가 뜨면 그 다음 라인에는 "username"과 "password"가 표시된다.

localhost:8080으로 접속한다.

콘솔에 뜬 "Username"과 "Password"를 입력해준다.

로그인 후

reference
https://airflow.apache.org/docs/apache-airflow/stable/start/local.html