Amazon CloudWatchログから実用的な洞察を得る

Pulisher : Cloud Technology Center キム・ビョンジュ
Description : Amazon CloudWatchの発展背景とobservabilityの定義、そして新機能の紹介。

はじめに

CloudWatchは一般的にログを確認し、これを通じてアプリケーションの状態とAWSクラウドのサービスの状態を確認することができるAWSで代表的に使われるサービスです。月に合計6 Exabytesサイズのログを収集するCloudWatchサービスをより効果的に使うための方法を確認するためにセッションを申し込みました。

セッションの概要紹介

このセッションでは、CloudWatchでobservabilityを確保する方法、cloudwatch活用を通じて得られるものについて話し、まずはcloudwatchの発展背景とobservabilityの定義について議論し、CloudWatchの興味深い機能や新しくリリースされた機能を紹介します。

observabilityとは何でしょうか？ observabilityについて10人に聞けば、10人とも違う答えをするでしょう。 そこで、制御理論で定義したobservabilityについてお話します。

observabilityはどのように内部状態を外部出力(信号)を通じてよく測定するかという内容で定義することができます。

CloudWatchはAWSのNative Monitoring Serviceであり、数百万人の顧客がCloudWatchを使用し、毎月約11千兆個の測定データと6エクサバイトのログが送信されています。

CloudWatchは非常に優れていますが、3つの課題に直面しました。

・増え続けるログの量に比例してコストが増加する問題。
・様々な異なるログの用途によって保管すべき期間が変わる問題。
・様々なソリューションを保管しなければならない問題

そこで、CloudWatch Logs Infrequent Accessをリリースしました。最大の違いは、コストが50%と安いことです。 簡単にCloudWatch Log Groupsのティアを変更することで適用することができます。

CloudWatch Standardタイプと機能を比較すると、上の画像のようになります。

では、どのオプションを選べばいいのでしょうか？よりリアルタイムでログを確認し、より高度な分析をしたい場合はStandardタイプです。 それではなく、フォレンジック分析、頻繁にアクセスしない場合はInfrequent Accessを使用してください。

それでも、文字だらけのログは見づらいですが、Patternを使えば、より簡単にログを分析することができます。

しかし、新しいログの構造が新しく変更され、どうやってこれを確認することができるのか、今回reinventで新しく追加されたComparison Analysis in logs insights機能を使って確認することができます。

それでも、私たちは自動的に異常を検出し、それを知らせる機能をクエリなしで行いたいです。 これらのことは、今回新しく導入されたAlways-on Anomaly Detectionを通じて、私たちが代行します!

CloudWatchがこのような素晴らしい機能をサポートするといっても、最大の問題はCloudWatchにクエリやコマンドを使うのが難しいということは、ユーザーにとって一つのハードルになる可能性があります。

しかし、今回のPreviewでは、AIを通じて作成された自然言語ベースのクエリジェネレータを通じて、ユーザーはクエリを簡単に学習して使用することができます。

次はMetric filtersについて紹介します。

ユーザーはダイナミックにログのディメンションを選択して使うことができます。ここの例はHTTP status codeとREST API Methodだけを取り出した例です。

これによって私たちはより多様で複雑なログをCloudWatch Metricsで使って見ることができます。画像には入っていませんが、DemoではAPI Call logからpuppyの種類を出して見せる方法でデモしました。

昨年リリースしましたが、お客様に本当に反応が良かったサービスの一つであるLogs Live Tailについて説明します。 Live Tailはリアルタイムでログを確認して分類してくれて、一時停止再生など必要なログをリアルタイムで見やすいように設計されているサービスです。

さらに、X-Ray Tracesを追加する機能も非常に強力な機能です。サーバーレスおよびMSAアーキテクチャでは、多数のサービスまたはコンテナに乗ってサービスが駆動されます。 これを追跡することは非常に難しいことですが、これによってより簡単にログを見たり、まとめて確認することができます。

セッションを終えて

今回のre:inventを通じてinfrequent access log CloudWatch、Anomaly Detection、Gen AIを利用したCloudWatchクエリ生成まで本当に重要で必要な機能がアナウンスされました。 これでCloudWatchを通じてより多様なログを分析、処理、モニタリングすることができることが分かりました。