Cloud Operations re:Invent 2023

Stripe：Architecting for observability at massive scale

Stripe：大規模でモニタリング可能なアーキテクチャー

Pulisher : Managed & Support Center キム・ソンド
Description : 大規模モニタリングシステムをどのような仕組みで構築して運営するのかStripeのお客様事例紹介セッション

はじめに

全世界で使用するモバイル決済プラットフォームサービスであるStripeでは、数千個のEC2インスタンスと多くのAWSサービスを使用しています。サービスを正常に運営するために大規模なモニタリングシステムをどのような構造で構築して運営しているのか、さらにコスト最適化、リソース利用率の最適化まで運営方法を確認できるセッションです。

アーキテクチャが大きくなればなるほど、お客様が悩まれる内容の一つは、インフラストラクチャの複雑さが増すことです。
マイクロサービスの採用と分散、動的なシステムにより、複雑さが増加し続けています。

このような分散、動的システムを理解するために様々なデータを収集することができます。

例えば、メトリック、ログ、Traceなどがあります。

結果的には、これらのデータを管理するためにコストが増加することになります。

アプリケーションモニタリングとコスト増加のバランスを保つことは困難です。

一般的に2つに分けることができます。

１．AWSのNative Cloudwatchシステム
２．Open Sourceを利用したシステム

それぞれのアプリケーションに適したサービスを選択することをお勧めします。

Open Sourceを利用する場合は、ソフトウェアが安全であることを確認する必要があり、他のプログラムと互換性があるかをテストする必要があります。

これらの内容は運営オーバーヘッドを増加させることになります。

しかし、AWS Managed Service for Prometheusの場合は、AWSで完全に管理され、顧客の要件に応じて自動的に拡張が可能になります。

以下は4つのメリットです。

１．Serverlessで使用が可能です。
２．AWSによって完全に管理され、高可用性です。
３．既存に使用していたPrometheusと同じQueryを使用することができます。
４．使用した分だけ費用を支払うことができます。

Amazon Managed Grafanaも以下のようなメリットがあります。

１．セキュリティに強く、AWSによって完全に管理されます。
２．自動的にScale調整されます。
３．AWSはもちろん、他のThird Partyデータソースと接続できます。
４．AWSの多くのサービスとの接続が可能です。
５．Enterpriseの場合、コンソールのMarketPlaceから直接購入可能です。
６．使用した分だけ支払うことができます。

AWS OpenTelemetry、Prometheus Agentなどでデータを収集し、すべてのデータをAMPで保存できます。

AMPの代表的な機能は4つです。

１．Ingest
　　=> 既存のPrometheusデータを収集することができます。
２．Query
　　=> Timestampベースで保存されたデータをクエリすることができます。
３．Rules
　　=> コストが多くかかったり、頻繁にアクセスするQueryの場合、事前計算してコスト最適化をすることができます。
４．Alert manager
　　=> 希望する条件、ルールを設定して特定の時間ごとにトリガーすることができ、Amazon SNSを使ってアラームを受け取ることができます。

これらのデータに基づいて必要なダッシュボードを生成し、データを視覚化することができるAmazon Managed Grafana(以下AMGと呼びます)を使うことができます。