[Apache NiFi]설치 및 빌드

서론

문든 이런생각이 들었다. “만약 내가 데이터 인프라가 갖추어 지지 않은 환경에 처한다면(데이터 분석가에게는 무인도에 홀로 남은 느낌이랄까…) 인프라 없이 무엇을 할 수 있을까??”

분석가 이지만 기본적인 파이프라인 구성에 대한 개념이 필요하다 라는 답을 내렸고, Apache-NiFi 라는 도구를 사용해보기로 했다.

AWS 인스턴스 생성 및 putty접속

먼저 AWS의 인스턴스를 받아서 진행을 해보았다.

임시로 nifi_start라는 이름으로 설정해 주었고, ubuntu를 선택했다.

그리고 사전에 putty gen을 통하여 만들어준 key를 선택한다. (putty와 putty gen에 대한 설명도 올릴예정입니다.)

인스턴스 유형은 프리티어를 사용해도 되지만, 가격이 싼 t2.small을 사용해서 진행했다.

그리고 HoseName에 만든 인스턴스 “퍼블릭 IPv4 DNS”을 넣어준다.

그리고, putty가 많이 끊겨서 해결방법으로 Connection -> Seconds between keepalives에 0에서 5로 변경해 주었다. (나중에 알게되었지만 프리티어 메모리가 작아서 생기는 경우도 있다고 한다.)

그리고 창을 열면 다음과 같은 화면이 나타나는데, 여기서 ubuntu를 치고 엔터를 치면 준비가 완료가 된다..

NiFi설치

1. 가장먼저 NiFi압축파일을 다운받아보자.

   curl https://archive.apache.org/dist/nifi/1.12.1/nifi-1.12.1-bin.tar.gz --output nifi.tar.gz
   

2. 다운받은 압축 파일을 풀어주고,

   tar xvzf nifi.tar.gz
   

3. 저장소에 패키지 리스트를 업데이트 해준다.

   sudo apt update
   

4. java11을 꼭 다운받아야 한다.

   sudo apt install -y openjdk-11-jre-headless
   

5. 환경변수 까지 설정해 줘야한다.

   export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
   

6. 환경변수를 적용해준다.

   source .bashrc
   

7. NiFi가 있는 경로로 이동후 실행해 준다. ```

8. 경로 이동 cd ~~~

9. NiFi실행 bin/nifi.sh start ```

아래와 같이 Java와 NiFi가 둘다 잘 잡힌다면 성공한것이다.

1. 포트연결하기

인스턴스로 돌아가서 [보안]을 눌러준다.

이후 보안그룹에 있는 주소로 들어간후 아래에 있는 인바운드 규칙편집을 들어가 준다.

규칙추가 후 nifi포트번호(8080)를 입력하시고 저장하면 끝이다!

이후, [자신의 인스턴스 퍼블릭 ip주소]:8080 으로 접속하면 빌드하실 수 있습니다