우노

들어가기 앞서, 데이터 엔지니어가 파이프라인에 집중하기 위해서는 인프라 업무 및 시스템 업무에서 분리되는 것이 가장 좋습니다. 이런 환경을 제공해 주는 것이 Google Cloud의 Cloud Composer입니다. Cloud Composer는 Apache Airflow를 기반으로 하는 완전 관리형 워크플로 조정 서비스입니다. 이러한 완전 관리형 서비스는 운영 부담이 적지만 비용이 많이 발생한다는 특징이 있습니다. 만약, 비용 효율적인 운영을 목표로 하고 있다면 Airflow 직접 운영과 Cloud Composer 사용을 비교함으로써 적절한 방식을 채택하는 게 좋을 수 있습니다. 따라서, 해당 포스팅에선 Airflow 직접 운영을 위해, Airflow Helm Chart를 사용해 Google Kubern..

들어가기 앞서, Helm Chart의 Values엔 암호화가 필요한 값이 들어가야할 때가 있습니다. 따라서, 해당 포스팅에선 Helm Chart Values에 기본값을 박아두고, helm install 또는 upgrade 시 암호화가 필요한 값을 사용자 입력을 통해 할당할 수 있는 방법에 대해서 다뤄보겠습니다. Values 값 변경 시 사용할 수 있는 파라미터는 --set, --set-string, --set-file 이며, 해당 포스팅에선 --set-string을 사용하겠습니다. 또한, airflow helm chart를 예제로 들겠습니다. 예제 코드 1 airflow-stable-values.yaml airflow: config: TOKEN : "default" helm install 실행 시 val..

들어가기 앞서 쿠버네티스를 통해 애플리케이션을 배포하기 위해서는 많은 오브젝트가 필요합니다. 대표적으로는 deployment, pod, configmap, secret, service, persistent volume, persistent volume claim 등이 있습니다. 쿠버네티스는 이러한 오브젝트들을 정의하고 생성할때 yaml 파일 형식을 활용합니다. 하지만, 각각의 애플리케이션마다 모든 오브젝트들의 yaml 파일을 관리하는 것은 매우 반복적이고 번거로운 작업입니다. 따라서, 이를 편하게 하고자 만든 것이 helm입니다. Helm, Helm Chart란? Helm은 Kubernetes 클러스터에 애플리케이션을 쉽게 배포하고 관리하기 위해 개발된 Kubernetes 용 패키지 매니저입니다. 이때,..