AI/ML re:Invent 2023

Smarter, faster analytics with generative AI & ML

ジェネレーティブAIとMLによる、よりスマートで高速なアナリティクス

Pulisher : AI & Data Analytics Center ソン・スルギ
Description : AWSの機械学習ベースのアルゴリズムがワークフローを最適化する方法や、AWS Glue StudioやAmazon CodeWhispererの統合など、AIを活用した新しい機能について確認するセッション。

はじめに

Gen AIが様々な分野で深い影響を及ぼしている状況で、AWS内部でGen AIがデータ処理、コード作成、AI/ML、BIなどの領域でどのように浸透し、どのように役立っているのかを確認し、業務生産性の向上を加速する方法を知ることができるセッションです。

セッションの概要紹介

このセッションでは、AIおよびMLベースの機能へのAWS分析への投資が、データの洞察を加速し、タスクを自動化し、データ専門家がよりスマートな分析および生成型AIアプリケーションを構築するのに役立つ方法をご紹介します。AWSの機械学習ベースのアルゴリズムがどのようにワークフローを最適化し、アプリケーションの実行速度を向上させるか、AWS Glue StudioやAmazon CodeWhispererの統合など、AIを活用した新しい機能についてご紹介します。また、Amazon QuickSightのGenerative BI機能をご紹介し、自然言語プロンプトを使用して魅力的な視覚的説明を作成、カスタマイズ、共有する方法をご紹介します。

生成型AIの定義とAWS環境

・AI技術の一種で、新しいコンテンツを生産するために活用される技術です。
・既存のAIとは異なり、人間がパターンやアルゴリズムを指定しなくても、自ら学習方法を模倣して独創的な結果物を導き出します。
・生成型AIは、ニューラルネットワークディープラーニング技術を活用し、大規模なデータセットのパターンと構造を学習します。
・これらのモデルは、学習されたパターンを推定したり、まったく新しいパターンを生成して新しいコンテンツを生成します。
・AWSは、構造、統合性、コスト、セキュリティなどの観点から、このような生成型AIを活用するのに最適な場所です。

データ分析のEnd-to-End

データ収集(Data Ingestion)：様々なソースからのデータ収集が強調されました。これは、ビジネスに必要な様々な情報を収集し、分析するための基礎段階です。
データ品質検査(Data Quality Checks)：データの品質を検証する段階であり、データが信頼性が高く正確かどうかを確認します。データの正確性は、意思決定や分析の基盤となります。
データガバナンス(Data Governance)：データの効果的な管理とセキュリティを確保するためのデータガバナンスは、データの所有権、アクセス権、コンプライアンスに関する事項を扱う重要な側面です。
データストレージ(Data Storage)：様々な形態及びタイプのデータを効率的に保存するためのデータ保存の段階が含まれました。データの保存は、将来のデータへのアクセシビリティと利用可能性に影響を与えます。
QuickSight での終了(Ending with QuickSight)： QuickSightは、可視化や洞察を引き出すための強力なツールとして使用され、データの最終段階として重要な役割を果たします。

生成型AIを活用したデータ分析プロセス全体での活用

AWSでは、データ分析に必要なプロセス全般の領域で生成型AIを活用した技術を導入しています。
Glue Studioでは、可視化を活用したデータ処理やNotebookでGen AI技術を活用しています。

コード生産性向上のためのGlue Studio Notebook内のCodeWhispererを導入しました

今年GAされたCodeWhisperer機能をGlue Studioに導入し、自動的にコード提案を生成することができます。
自然語(英語)ベースで提案を作成すると、適切なコードを提案してもらうことができます。
CodeWhispererはS3、RDS、RedshiftなどAWS内で使用されるデータソースに最適化されています。

データ品質向上のための異常検知とDynamics Rules機能の適用

Gen AIを活用して実現されることを望む分野として最も多くの人が挙げたのは、データ品質管理に関する部分でした。
従来のRuleベースのデータ品質管理は、事前に予測できなかった異常を検知できず、継続的にRuleを更新しなければならないという不便さから限界が存在します。
このような限界を克服するために、GlueにML基盤の異常検知機能とDynmics Rules機能を導入しました。
これにより、ユーザーは品質問題を事前に把握して解決することで、データ品質に自信を持ってビジネス上の意思決定を行うことができるようになりました。

Redshift Query EditorにAmazon Q機能を導入したNotebook機能を追加しました

Redshift内のデータ探索と処理の生産性を向上させるために、Amazon Q機能を含むNotebook機能をリリースしました。
これで、Redshiftコンソール内でNotebookを実行し、自然言語(英語)でSQLを迅速に作成することができます。
また、データベースのスキーマを理解することなく、データ関連の規制に準拠したSQLを作成するための支援を受けることができます。

Redshift ServerlessにAIによる自動スケーリングと最適化機能を搭載した機能を導入しました。

Amazon Redshift Serverlessは、AI技術を使用して、データボリュームの変更、同時ユーザー、クエリの複雑さなど、さまざまな主要な次元のワークロードの変化に応じて自動的にsclaeを調整して最適化する機能を導入しました。
新しいAIベースの拡張と最適化により、クエリの複雑さ、データ量などの次元に基づいてワークロードのパターンを学習します。学習されたパターンに基づいて継続的にリソースを調整してカスタマイズされた性能最適化を適用し、実際のワークロードのニーズに応じて容量を自動的に事前に調整します。