목록GCP/Composer (3)
우노
발생 에러 HTTP response body: {"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"pods is forbidden: User "system:serviceaccount:composer-1-20-8-airflow-2-4-3-c5d909a1:default" cannot list resource "pods" in API group "" in the namespace "composer-1-20-8-airflow-2-4-3-c5d909a1"","reason":"Forbidden","details":{"kind":"pods"},"code":403} 원인 및 해결 방법 Airflow Pod에서 다른 Pod를 생성하..
들어가기 앞서, 해당 포스팅에선 gcloud 명령어를 사용해 Composer의 파이썬 패키지를 업데이트하는 방법에 대해서 다뤄보겠습니다. 예제 코드 # 작업할 GCP 프로젝트 설정 gcloud config configurations activate "설정해놓은 GCP 프로젝트 Config 이름" # Composer 파이썬 패키지 업데이트 gcloud composer environments \ update "" \ --update-pypi-packages-from-file "" \ --location "" update “” Composer의 이름을 지정합니다. --update-pypi-packages-from-file “” 업데이트할 파이썬 패키지 목록이 적힌 소스(ex. requirements.txt) ..
들어가기 앞서, 해당 포스팅에선 gcloud 명령어를 사용해 Composer의 DAG 파일을 업데이트하는 방법에 대해서 다뤄보겠습니다. 예제 코드 # 작업할 GCP 프로젝트 설정 gcloud config configurations activate "설정해놓은 GCP 프로젝트 Config 이름" # Composer DAG 파일 업데이트 gcloud composer environments storage dags import \ --environment "" \ --location "" \ --source "" \ --destination "" --environment "" Composer의 이름을 지정합니다. --location "" Composer 환경이 위치한 지역을 지정합니다. --source "" 업..