[Apache Airflow]설치 및 빌드

이번에는 아파치 에어플로우를 ubuntu환경에서(putty를 활용하여) 설치해 보고 실제로 서버에 빌드해보는것을 해보려고 한다.

에어플로우는 삽지니어링2 Apach Nifi(아파치 나이파이)와 같이 데이터 파이프라인을 만들어주는 툴로서 나이파이 보다는 더 많은 사람들이 쓰고 있다.

현재 다니고 있는 회사에서도 에어플로우와 GCP를 같이 사용하고 있기 때문에 익숙한 툴이다.(하지만, 할줄 아는것과 익숙한것은 다른것 같다. 확실히 ^^…)

Airflow(에어플로우)설치

1. 소프트웨어 저장소에 설치가능한 패키지 리스트를 최신화 해준다.

   sudo apt update
   

2. 파이썬 가상환경에 필요한 패키지 다운로드한다.

    sudo apt install python3-pip python3.10-venv
   

3. 파이썬 가상환경 “venv”만들기

   python3 -m venv venv
   

4. 가상환경 실행하기

   source venv/bin/activate
   

5. 에어플로우 설치하기

   pip3 install apache-airflow
   

6. 에어플로우 db초기화

   airflow db init
   

7. airflow/dags 폴더 만들기

   mkdir ~/airflow/dags
   

8. airflow 유저 만들기

   airflow users create --username admin --password admin --firstname  Annonymous --lastname Admin --role Admin --email admin@example.org 
   

여기서는 본인이 에어플로우에 로그인할 때 쓸 정보들을 커스텀해서 넣어주면된다. 임시로 admin으로 모두 만들어서 넣어준 모습이다.

1. 에어플로우 웹서버 실행

   airflow webserver --port 8081 # 포트번호는 본인이 원하는 포트로 하시면됩니다.
   

   정상적으로 완료 되었을때 아래와 같은 모습이 우분투에서 보입니다.

1. AWS EC2내 인스턴스에서 인바운드 규칙편집에 에어플로우 실행 포트 등록하기(아래 Apache Nifi게시글에 설명참고->사진클릭) <a href = https://velog.io/@ljs7463/Apache-NiFi%EC%95%84%ED%8C%8C%EC%B9%98-%EB%82%98%EC%9D%B4%ED%8C%8C%EC%9D%B4%EC%84%A4%EC%B9%98-%ED%95%98%EA%B8%B0> <img src = https://velog.velcdn.com/images/ljs7463/post/3008ce5e-3236-4075-8727-7001d6c68570/image.png> </a>

2. 포트를 인바운드 규칙에서 등록을 했다면 웹에서 실행해 보자!!

   {퍼블릭IPv4주소}:{포트번호}
   

   정상적으로 입력했다면 아래와 같이 로그인창이 보일것이다.

3. 8번 에어플로우 유저정보를 만들때 사용했던 아이디와, 비밀번호 입력후 접속하기

삽질끝에 마주한 에어플로우 ㅠㅠㅠ 보고싶었어… 데이터 엔지니어링 툴은 설치가 제일 어려운것같아요…