MEGAZONEブログ
![Event detection with MSK and Amazon Managed Service for Apache Flink](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-29.jpg)
Event detection with MSK and Amazon Managed Service for Apache Flink
MSKとAmazon Managed Service for Apache Flinkによるイベント検出
Pulisher : Mass Migration & DR Center イ・ミンギュ
Description:Amazon MSKを利用したイベントキャプチャ、Apache Flink用Amazon Managed Serviceを利用したイベント検出、そしてAmazon SNSとAWS Lambdaを利用したメール送信を実施したワークショップセッション
はじめに
ワークショップアドレス : https://catalog.workshops.aws/casino-analytics/en-US
イベントキューに関するインサイトを得たいと思って参加しました。
セッションの概要紹介
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-1-12.jpg)
MSKサーバーレスは、クラスターの容量を管理し、規模を調整することなくApache Kafkaを実行できるようにするAmazon MSKのクラスタータイプです。データを安定的に分散保存し、配信する役割を果たします。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-2-12.jpg)
Apache Flinkは、複雑なデータストリームを処理し、データ処理タスクを実行することに重点を置いています。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-52.png)
Apache Flink studioのマネージドサービスを使用してイベントを生成します。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-1-42.png)
Apache Zeppelinに実習で準備したインポートファイルを入れると次のような画面が確認できます。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-53.png)
Amazon MSKクラスターを生成した後、Plaintextをコピーします。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-3-37.png)
Zeppelin に KAFKA BROKERS を貼り付けます。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-4-35.png)
実行に成功しました。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-5-32.png)
ランダムにイベントを生成してデータを送信します。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-6-32.png)
AWS Glueを使用してメタデータストレージとして使用します。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-7-26.png)
Amazon MSKから受信したデータを分析します。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-8-22.png)
ラムダトリガーを通じて通知を受け取ります。
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-9-21.png)
![](https://www.hyperbilling.jp/wp-content/uploads/2024/02/pasted-image-0-10-14-929x1024.png)
セッションを終えて
Apache FlinkとMSK、そしてLambdaを通じたSNSは全て初めて試すものでした。
一般的なセッションよりワークショップセッションの方が私自身には残ってることが多いようです。 それぞれのスタックをもう一度深く理解した後、そのワークショップを復習してみるのがいいと思います。
この記事の読者はこんな記事も読んでいます
-
Compute re:Invent 2023Apple on AWS: Managing dev environments on Amazon EC2 Mac instances(Apple on AWS:Amazon EC2 Macインスタンスで開発環境を管理する)
-
Compute re:Invent 2023Optimizing for cost and performance with AWS App Runner(AWS App Runnerによるコストとパフォーマンスの最適化)
-
Partner Enablement re:Invent 2023Migration and modernization: Become your customer’s strategic partner