ゼロETLベースのアナリティクス・アーキテクチャを構築する

Pulisher : AI & Data Analytics Center チェ・スンヒョン
Description：Zero ETLを活用してAuroraとRedshiftを統合し、それを活用することで得られる3つのメリットについて紹介したセッション

はじめに

最近、Zero-ETLが話題になり、既存のETLベースで構成したサービスアーキテクチャとZero-ETLアーキテクチャにはどのような違いがあり、どのように活用できるのか気になり、このセッションを申し込みました。

セッションの概要紹介

Zero ETLを活用してAuroraとRedshiftを統合し、これを活用して得られるメリットについて説明するセッションでした。

Zero ETLの期待効果

データは様々な産業で使用されており、データを活用してビジネス上の意思決定と結果を導くことは、迅速にインサイトを抽出することに影響されます。

データをあるシステムから別のシステムに保存し、処理する際、これを信頼性を持ってシンプルにしたいものです。このような目的で登場したのがZero-ETLの概念です。

Aurora, Redshiftの特徴や 連携について

Auroraの場合、コンピューティングとストレージが分離されており、独立して拡張可能です。これにより、高可用性、トランザクション処理および強力な耐久性を持つという特徴があります。

一方、Redshiftは分析領域で優位を占めており、ペタバイト規模のデータウェアハウスで様々なタイプのデータへのサポートを継続的に拡大しています。

Auroraのトランザクションデータを複雑な移行なしにRedshiftで照会できるように、Zero ETL統合が実現しました。

Simple to Set up

環境を構成するのに最小限のSet-upと時間が必要です。

従来のETL時に考慮しなければならなかった多くの要素を除外することで、かかる時間を短縮し、素早くデータを実際に使用できる環境を構成することができるからです。

Cross accountでもサポートするため、他のアカウントにいても簡単に接続することができます。

Simple to manage

CDCを通じて変更分について確認し、Redshiftに送信するため、準リアルタイムで変更されたデータに対してモニタリングが可能です。

Powerful Analytics

Redshiftにデータを収集した後、BI、MLでそのデータを活用して分析することができ、GenAIと統合することも可能です。

セッションを終えて

Zero-ETLを通じてデータの整合性を高め、分析前にかかる時間を減らしながら、その後の活用にもう少し焦点を当てて行けるように流れが変化しているのを感じることができました。 今後、Zero-ETLができるように対象DBが拡張されれば、業務の効率性及び分析の迅速性に大きな影響を与えることができると思います。