[Apache Flink] 설치하기 (windows 10)

---

Windows 10에서는 우분투 환경을 만들수있습니다.

이 내용은 나중에 포스팅을 할 예정입니다.

Linux용 Windows 하위 시스템(WSL)을 설정하고 MS 스토어에서 "Ubuntu" 를 설치해서 환경을 준비합니다.

 

---

1. Java 설치

우분투 환경을 처음 설치하였으면 Java가 설치가 필요합니다.

apt-get 업데이트도 필요합니다.

 

sudo apt-get update
sudo apt-get install openjdk-8-jdk

 

설치가 정상적으로 됬으면 확인을 해보자

 

> java -version

openjdk version "1.8.0_282"
OpenJDK Runtime Environment (build 1.8.0_282-8u282-b08-0ubuntu1~20.04-b08)
OpenJDK 64-Bit Server VM (build 25.282-b08, mixed mode)

 

---

---

2. Apache Flink Download & Install

 

Apache Flink download Site  :  flink.apache.org/downloads.html

flink-1.12.2-bin-scala_2.12.tar 을 다운 받은 후 경로 설치경로로 옴겨줍니다.

---

---

3.  압축 해제

설치경로로 옴긴후 압축을 해제합니다.

 

beom@DESKTOP-RECVJOE:~/server$ ls -rtl
total 357632
-rwxr-xr-x 1 beom beom 364513280 Mar 16 09:55 flink-1.12.2-bin-scala_2.12.tar

beom@DESKTOP-RECVJOE:~/server$ tar -xvf ./flink-1.12.2-bin-scala_2.12.tar

beom@DESKTOP-RECVJOE:~/server$ ls -rtl
total 357632
drwxrwxr-x 1 beom beom       512 Feb 27 06:29 flink-1.12.2
-rwxr-xr-x 1 beom beom 364513280 Mar 16 09:55 flink-1.12.2-bin-scala_2.12.tar

beom@DESKTOP-RECVJOE:~/server$ mv flink-1.12.2 flink
beom@DESKTOP-RECVJOE:~/server$ ls -al
total 357632
drwxrwxr-x 1 beom beom       512 Mar 16 10:35 .
drwxr-xr-x 1 beom beom       512 Mar 16 09:49 ..
drwxrwxr-x 1 beom beom       512 Feb 27 06:29 flink
-rwxr-xr-x 1 beom beom 364513280 Mar 16 09:55 flink-1.12.2-bin-scala_2.12.tar

---

---

4. 기본설정

초기에 설정이 필요합니다. 기본적인 설정파일을 확인해 보겠습니다.

> vi ${flink_home}/conf/flink-conf.yaml

jobmanager.rpc.address: localhost

 

로컬 IP를 지정합니다

 

> vi ${flink_home}/conf/master

localhost:8081

 

master 노드 정보를 입력합니다.

 

> vi ${flink_home}/conf/workers

localhost

worker 노드 정보를 입력합니다.

 

지금은 테스트용으로 모두다 localhost로 지정하겠습니다.

 

---

---

5. 실행

Flink 데몬를 실행해 보겠습니다.

 

> ${flink_home}/bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host DESKTOP-RECVJOE.
Starting taskexecutor daemon on host DESKTOP-RECVJOE.

 

프로세스를 확인해 보겠습니다.

 

> ps -ef | grep flink
> ps -ef | grep flink | wc -l

 

Web UI로 확인해보겠습니다.

 

http://localhost:8081/

 

정상 동작을 확인할 수 있습니다.

 

---

---

6. 샘플 실행

워드카운트를 하는 예제 프로그램을 실행해 보겠습니다.

 

입력준비를 합니다. 나중에 문장 입력을 할것입니다.

 

> nc -l 9000

 

워드카운트 프로그램을 실행합니다.

 

> cd ${flink_home} 
> ./bin/flink run examples/streaming/SocketWindowWordCount.jar \
    --hostname localhost --port 9000

Job has been submitted with JobID 0cec8979a5a593c52b625364410e5d54

 

netcat에 문장을 입력합니다.

 

This distribution includes cryptographic software.  The country in
which you currently reside may have restrictions on the import,
possession, use, and/or re-export to another country, of
encryption software.  BEFORE using any encryption software, please
check your country's laws, regulations and policies concerning the
import, possession, or use, and re-export of encryption software, to
see if this is permitted.  See <http://www.wassenaar.org/> for more
information.

 

 결과 log를 확인해 보겠습니다. ( log 파일명은 다를수 있습니다. )

 

> cd ${flink_home}/log
> tail -200f flink-beom-taskexecutor-0-DESKTOP-RECVJOE.out
This : 1
information. : 1
more : 1
for : 1
<http://www.wassenaar.org/> : 1
See : 1
permitted. : 1
is : 1
this : 1
if : 1
see : 1
or : 1
concerning : 1

 

---

---

7. 종료

데몬을 종료해 보겠습니다.

 

> cd ${flink_home}/bin
> ./stop-cluster.sh

Stopping taskexecutor daemon (pid: 5874) on host DESKTOP-RECVJOE.
Stopping standalonesession daemon (pid: 5600) on host DESKTOP-RECVJOE.

---

 

▶ Flink 기본 설치 및 실행 테스트 방법이었습니다.