공부/Apache Flink (4) 썸네일형 리스트형 [Apache Flink] Standalone Cluster 구성 Apache Flink Standalone Cluster 로 서버 구성을 해보겠습니다. ○ 설치 먼저 Apache Flink 를 설치를 해야합니다. 이전에 설치 방법을 포스팅 했었습니다. bab-dev-study.tistory.com/7 [Apache Flink] 설치하기 (windows 10) Windows 10에서는 우분투 환경을 만들수있습니다. 이 내용은 나중에 포스팅을 할 예정입니다. Linux용 Windows 하위 시스템(WSL)을 설정하고 MS 스토어에서 "Ubuntu" 를 설치해서 환경을 준비합니다. 1. Java bab-dev-study.tistory.com 로컬 시스템에서 두개의 worker를 만들도 클러스터 구성이 가능하지만 여기서는 두개의 다른 서버를 사용해서 구성해 보겠습니다. 설치.. [Apache Flink] CEP-Complex Event Processing ○ CEP 란? 내용높은 빈도로 발생하면서 낮은 지연 시간을 요구하는 이벤트의 스트림을 분석합니다. CEP는 이벤트, 하위 이벤트 및 시쿼스의 스트림에서 패턴을 파악할 수 있습니다. 서로 관련이 없는 이벤트들 사이에서 의미 있는 패턴 및 복잡한 관계를 알아내고, 실시간으로 알림을 전송하는 등 대응을 통해 피해를 사전에 막을 수 있도록 해준다. ○ Flink CEP 라이브러리 주요 구성 요소 1. 이벤트 스트림 ( Event Stream ) 2. 패턴정의( Pattern definition ) 3. 패턴 추적( Pattren detection ) 4. 경보 조치 생성( Alert generation ) ● 이벤트 스트림 ( Event Stream ) 데이터를 입력받기 위한 이벤트 스트림을 이용하려면 이벤트.. [Apache Flink] DataStream API를 이용한 데이터 처리 ○ Apache Flink DataStream API 라이브러리 주요 구성 요소 1.실행환경 2.데이터 소스 3.데이터 트랜스포메이션 4.데이터 싱크 5.커넥터 ● 실행 환경 ( Execution Environment ) ▷ 실행환경 구분 - 기존 플링크 환경 입력 - 로컬 실행환경 생성 - 원격 실행환경 생성 보통 실행시 getExecutionEnviroment() 를 사용한다. 그럼 IDE의 로컬에서 실행 중인 경우 로컬실행환경이 시작되고, 아닐 경우 클러스터 관리자가 분산형태로 실행한다. 직접 구분하고 싶으면 로컬 환경은 createLocalEnvironment() 를 사용. 원격은 createRemoteEnvironment(String host, int port, String, jar파일 등) 사.. [Apache Flink] 설치하기 (windows 10) Windows 10에서는 우분투 환경을 만들수있습니다. 이 내용은 나중에 포스팅을 할 예정입니다. Linux용 Windows 하위 시스템(WSL)을 설정하고 MS 스토어에서 "Ubuntu" 를 설치해서 환경을 준비합니다. 1. Java 설치 우분투 환경을 처음 설치하였으면 Java가 설치가 필요합니다. apt-get 업데이트도 필요합니다. sudo apt-get update sudo apt-get install openjdk-8-jdk 설치가 정상적으로 됬으면 확인을 해보자 > java -version openjdk version "1.8.0_282" OpenJDK Runtime Environment (build 1.8.0_282-8u282-b08-0ubuntu1~20.04-b08) OpenJDK 64-.. 이전 1 다음
