アナリティクスとジェネレーティブAIのためのエンドツーエンドのデータ戦略の構築

Pulisher : AI & Data Analytics Center チェ・スンヒョン
Description：データを活用できる環境を構築しようとするAWSのEnd to End戦略紹介セッション

はじめに

収集、蓄積、活用するデータの種類が多様化するにつれて、データの量も指数関数的に増加しました。 このような環境でデータをうまく活用し、分析するためにどのようなend-to-end戦略が必要なのか気になり、このセッションに登録しました。

そして、end-to-endに該当するAWSの代表的なサービスと、そのサービス間でどのように連結して活用できるのかベストプラクティスを見て、次の業務で参考するために申し込みました。

セッションの概要紹介

各スライドの説明

下の写真の氷河のように目に見えるのは氷山の一部分ですが、その部分だけを見ると、その下にあるもっと大きな氷山の部分を見逃すことがあります。このようにGenAI Application、ML Modelもその下にしっかりとData Integration、Analytics、Modelsなどの領域が存在しています。

Data Silos、People Silos、Business SilosがInsightを発掘する際に最も苦労する原因として話されています。これを解決するために、データを収集・加工するProducers、分析・活用するConsumer、そしてデータの移動を支援するFoundationsの観点からEnd-to-Endデータアーキテクチャを構成することができます。

[Comprehensive set of tools to Utilize]
１．Amazon Aurora

Redshift Data Sharingを活用して他アカウント間のZero ETLでデータIntegrationが可能になったように、Amazon Aurora MySQLもRedshiftと統合され、データアナリストが準リアルタイムでペタバイト規模のトランザクションデータを統合分析することができます。

２．Redshift SQL Syntax Check

RedshiftとAuroraが統合されても、SQLに苦労して活用できないConsumerのために、Query Editorでは作成中のクエリの構文のエラー確認や推薦を受けることができます。

[Comprehensive set of tools to Integrate]
１．Glue with ETL AI Coding Assistant

Redshiftと同じく、GlueではGlue Notebookを活用する際にコード構成のサポートを提供しています。

この他にも、End-to-Endの面でawsでZero-ETLを追求し、様々なサービス内の該当機能を追加・補完しています。

セッションを終えて

様々なawsサービス内の新機能の紹介を行い、AWSの今後の方向性を見ることができました。 “Zero ETL”または”No/Easy Coding”の観点からアプローチし、awsを使用する生産者(Producer)/ユーザー(Consumer)がより早くデータを活用できる環境を構成しようとするEnd to End戦略を持っていることを確認することができました。

プロジェクトを遂行しながら、実際の現業担当者の場合、データを活用及び分析したいが、方法が分からない、コーディングに難しさを感じたり、データを活用するまでの段階で時間がかかることに対する様々な意見が多くありました。Zero-ETL基盤でawsのEnd-to-End戦略により、不必要な時間が減り、現業担当者の参加度が高まり、データ活用に対するターニングポイントになると思います。