맥 Apple Silicon에서 Docker Desktop을 이용하여 Kubernetes(K8s)로 Airflow 2.8를 배포하는 법

1. Docker Desktop 설치 및 설정

1. Docker Desktop 설치: Docker 공식 웹사이트에서 맥용 Docker Desktop을 다운로드하고 설치합니다.
2. Kubernetes 활성화:
   • Docker Desktop을 열고, Preferences > Kubernetes 탭으로 이동합니다.
   • "Enable Kubernetes"를 체크하고, Apply & Restart 버튼을 클릭하여 Kubernetes 클러스터를 시작합니다.

2. Helm을 이용한 Airflow 설치

Helm은 Kubernetes 패키지 매니저로, 복잡한 Kubernetes 애플리케이션을 쉽게 설치하고 관리할 수 있게 해줍니다.

 

 

Helm 설치:

brew install helm

 

Airflow Helm 차트 추가

helm repo add apache-airflow https://airflow.apache.org

 

helm repo update

 

helm repo list확인

helm search repo apache-airflow/airflow --versions

 

Airflow 설치

Airflow를 설치할 네임스페이스 생성

 

kubectl create namespace airflow283

 

Helm 차트를 이용하여 Airflow 설치 (chart version을 기입)

helm install airflow apache-airflow/airflow --namespace airflow283 --version 1.13.1

 

 

3. Airflow 접근

 

Airflow 웹 인터페이스 포트 포워딩:

kubectl port-forward svc/airflow-webserver 8080:8080 --namespace airflow

이 커맨드를 실행한 후, 브라우저에서 http://localhost:8080을 열어 Airflow 대시보드에 접속할 수 있습니다.

 

localhost:8080

 

4. pod확인

kubectl get pods --namespace airflow283

 

5. 추가 구성

• 환경 설정: Helm 설치 시 values.yaml 파일을 통해 Airflow 구성을 세부적으로 조정할 수 있습니다. 예를 들어, 실행자 변경, 환경 변수 설정, 추가 종속성 설치 등이 가능합니다.
• 업그레이드 및 관리: Airflow 버전을 업그레이드하거나 설정을 변경할 때는 Helm을 사용하여 쉽게 관리할 수 있습니다.

이 과정을 통해 Kubernetes 상에서 Airflow를 성공적으로 설치하고 실행할 수 있습니다. 설정이나 설치 과정에서 문제가 발생하면, Helm 차트 문서나 Kubernetes 문서를 참조하거나, 관련 커뮤니티와 포럼에서 도움을 요청하세요.