윈도우에서 Docker로 Airflow 시작하기

개발

minazuki 2024. 4. 24. 11:33

도커 데스크탑이 설치되어 있다고 생각하고 시작합니다.

1. C 드라이브 Users 폴더 안에 user(님 이름) 폴더 안에 airflow 폴더를 만든다.

(위치나 이름은 달라도 괜찮은데, 어쨌든 폴더를 만들어야 한다.)

버전에 따라서 조금씩 다르므로 주의.

2.6.3의 경우 bs4 등의 라이브러리가 이미 설치되어 있음

3. 만들어둔 airflow 폴더 안에 yaml 파일을 넣는다.

4. 만들어둔 airflow 폴더 안에 dags, logs, plugins 폴더를 만든다.

이런 모습이 된다.

그 다음 Windows PowerShell 실행해서 airflow 폴더로 cd.

5. PowerShell에 다음 커맨드를 실행한다.

docker-compose up airflow-init

docker-compose up

도커 데스크탑 들어가보면 airflow 컨테이너가 실행 중인 것을 확인할 수 있다.

7개의 서브 컨테이너가 있다.

localhost:8080 접속해보면 airflow 페이지가 나오고, 초기 아이디와 비밀번호는 모두 airflow이다.

아 그리고 docker-compose up 실행 이후로 PowerShell에서 뭔가가 계속 돌아가는데, 무시하고 창을 꺼도 된다고 한다.

이제 앞으로의 DAGs는 아까 만들어둔 dags 폴더에 넣으면 되고, 플러그인도 plugins 폴더에 넣으면 된다.