0. 개요Airflow 사용 중 connections 정보가 배포 시에 세팅을 해줘야하는 번거로움이 있었습니다.정보를 찾아보던 중 세팅을 자동으로 해주는 Astro CLI 라는 것을 알게되었고 설치부터 실행까지의 포스팅입니다. 1. Astro CLI 란?Astro CLI는 Apache Airflow를 로컬 환경에서 빠르게 실행하고, DAG(Directed Acyclic Graph)를 테스트 및 디버깅하며, Astronomer 플랫폼의 리소스(워크스페이스 및 배포 등)를 관리할 수 있는 도구입니다. 오픈 소스로 제공되며, GitHub 저장소를 통해 기여와 이슈 제기가 가능합니다. 로컬에서 Airflow 실행: 몇 분 만에 로컬 환경에서 Airflow를 실행할 수 있습니다.DAG 테스트 및 디버깅: 전용 ..
0. 개요파이썬 기반인 Airflow 로 파이프라인 개발 진행 시,plugins 디렉토리 내에 Operator 나 Hook 등, 모듈화하여 사용하는 소스를 개발하는 경우가 발생한다.이때 IDE 의 경로 인식에서 불편한 점에 대한 해결책에 대한 기록이다. 1. 문제점python 은 sys.path 를 출력하면 아래의 이미지처럼 우리가 사용하는 라이브러리에 대한 경로를 넣어두고 임포트 시 해당 경로부터 인식된 라이브러리를 임포트 하게 된다. Airflow 개발 시 DAG 에서 [plugins] 디렉토리에 개발된 내용을 임포트해서 사용하게 될텐데...Airflow 내에서는 plugins 디렉토리 이후 경로로 인식하고 IDE 에서는 root 경로부터 인식을 시작하기 때문에 개발할때 여간 불편한게 아니다. ..
0. 관련 포스팅 [Airflow] Airflow 란? [Airflow] Airflow 설치 (with. docker compose) 1. 개요 이번 설치 포스팅은 테스트용으로 Docker 환경에서 Airflow 사용을 목적으로 하고있다. 사용하는 서버 환경이 Docker 환경이라면 동일한 설치 방법으로 진행하여도 무관하다. Airflow에서 제공하는 Docker Compose 파일을 기반으로 하기 때문에 기존 시스템에 추가적으로 설치하여 사용하고자 한다면 따로 설정을 추가적으로 해줘야한다. (docker-compose 파일에는 airflow 사용에 필요한 웹서버 및 DB 도 포함하여 설치된다.) 2. 환경 OS : MacOS(Sonoma M1 MacSilicon) Lang : Python 3.9 Air..
0. 관련 포스팅 [Airflow] Airflow 란? [Airflow] Airflow 설치 (with. docker compose) 1. 개요 Airflow는 배치 중심 WorkFlow를 개발, 예약 및 모니터링하기 위한 오픈 소스 플랫폼이며, 2014년 10월 에어비앤비에서 점차 복잡해지는 WorkFlow를 관리하기 위한 해결책으로서 시작하였다. Airflow의 확장 가능한 Python 프레임워크를 사용하면 거의 모든 기술과 연결되는 WorkFlow를 구축할 수 있다. 제공되는 웹 인터페이스는 작업 흐름 상태를 관리 하는데 유용하고, 단일 프로세스부터 분산 설정까지 다양한 방식으로 배포 할수 있다. 2. 특징 Dynamic : Airflow 파이프라인이 Python 코드로 구성되어 동적 파이프라인 생..
