MEGAZONEブログ

AWS re:Invent 2024 セッションレポート #NFX302|Amazon S3を使用したNetflixでのメディアストレージの拡張と進化
Scaling and evolving media storage at Netflix with Amazon S3
セッション概要
- タイトル:Scaling and evolving media storage at Netflix with Amazon S3
- 日付:2024年12月2日(月)
- Venue: MGM Grand | Level 3 | Chairmans 355
- スピーカー:
- Ankur Khetrapal(Software Engineer, Netflix)
- Esha Palta(Senior Software Engineer, Netflix inc)
- 業界:Media & Entertainment
- 概要:Netflixは、スタジオアプリケーションを通じて、画像、動画、テキストなどのペタバイト規模のマルチメディアデータを生成し、Amazon S3に安全に保存しています。本セッションでは、メディアストレージレイヤーの進化と、アセットのアクセス制御とライフサイクル管理方法について説明します。 また、拡張性の問題を解決し、メディアパートナーとアプリケーションに最適化された機能を追加した事例を紹介します。
はじめに
今回のセッションでは、NetflixがAWS S3を活用して世界的なコンテンツを制作・管理している様子をご紹介します。ネットフリックスは、クラウド技術を基盤にメディアストレージを効率的に管理し、コンテンツのLifecycleを体系的に運営するのに優れた事例を紹介しています。 特に、ネットフリックスがグローバルスタジオ環境の複雑さを解決しながら、メディアストレージの拡張性と効率性を維持する方法がとても興味深いものでした。
Netflixメディアストレージとデータ管理の概要

Netflixは、クラウドベースのスタジオインフラストラクチャを通じて、世界中のアーティストがコラボレーションできる環境を提供しています。コンテンツ制作の過程で、データはカメラ撮影後に何度も変更され、AWS S3に最終的に保存されるまで、アップロードとダウンロードが頻繁に行われます。Netflixは、このような世界的に分散されたデータフローをサポートするために、高性能、高効率のミッドクラウドインフラストラクチャを構築しました。
Cノード構造とデータ管理の概要

Content DriveはNetflixのデータ管理の中核であり、AWS S3の上に構築されたファイル・フォルダのメタデータ抽象化層です。Content Driveは階層的なツリー構造でファイルとフォルダを保存し、これを「Cノード」と呼びます。

Cノードは次のタイプに分けられます。
- ルート/ワークスペースノード:ユーザーデータの最上位の名前空間を提供します。
- フォルダノード:単純なコンテナとして機能します。
- ファイルノード:実際のデータと連結されたリーフノードです。
- シーケンスノード:数百万個のファイルを含むことができる特殊なノードです。
- スナップショットノード:不変性を保証するサブツリーコンテナです。
このノード構造は、データの複雑なライフサイクルを効率的に管理し、各ノードは固有のUUIDとメタデータ情報を通じて管理されます。
ユーザーワークフローとデータ管理プロセス

Netflixは、コンテンツドライブを介してアーティストとアプリケーション間のシームレスな作業環境を提供します。アーティストはローカルワークステーションから作業ファイルをContent Driveにドラッグアンドドロップし、Content DriveはそれをS3に転送する際に次の機能を提供します。
- 動的転送トークンの生成:転送を実行する権限を付与します。
- ファイルとフォルダの通知を提供する:アップロードが完了した時点などをユーザーに通知します。
- 転送セッションの追跡: データ転送の成功を確認します。
これらのワークフローを通じて、アーティストはローカル環境と同様のインターフェースでデータを管理し、チーム内のコラボレーションも容易になります。
コンテンツライフサイクル管理の必要性

コンテンツは、作成、アクティブ、コンバージョン、アーカイブ、削除のステップを経ます。
- 生成ステップ:データがシステムに最初に入るステップで、タグとメタデータが追加されます。
- アクティブステップ:最も多くのユーザー対話が行われる動的状態のステップ。
- 移行フェーズ:分析とポリシーに基づいて、より費用対効果の高いストレージ階層に移動します。
- アーカイブフェーズ:データの長期保存フェーズで、主にAmazon Glacierを活用します。
- 削除ステップ: データの安全な削除のために、チェック性の検証と正確性を維持します。
Netflixは、これらのライフサイクル管理を通じてストレージコストを最適化し、データ保存ニーズを満たしています。
Netflixのメディア関連システム

Content DriveはNetflixメディア管理の中心であり、AWS S3に基づいてスケーラビリティと効率性を最大化したシステムです。 2024年10月現在、約145億のCノードと848Kのワークスペースがあり、週に5000万の新しいノードが作成されます。これらのシステムは、さまざまな制作部門と後半の作業チームがUIページに毎日アクセスし、コンテンツ管理と制作をサポートしています。
さらに、Content DriveはREST階層とGraphQL層を介してファイルとフォルダの操作を処理し、アクセス制御、データ転送、継続的なメタデータ管理、高性能トランザクションなどを提供します。 P90の遅延時間を0.5秒以下に維持し、データ規模が増加してもパフォーマンスを維持するために継続的に最適化作業を進めています。
まとめ
今回のセッションを通じて、NetflixがAWS S3を活用して構築したContent DriveとデータLifecycleをどのように管理するかを学び、本当に多くのインスピレーションを得ました。特に、データの作成から削除されるまで、すべてのプロセスを体系的に管理しながらもコスト効率とスケーラビリティを同時に実現した点が本当に印象的でした。
セッションを聞きながらクラウドインフラストラクチャを設計するとき、ユーザー中心のアプローチがどれほど重要かを再び感じました。 Content Driveがアーティストの仕事を支援しながらチーム間のコラボレーションを円滑にし、同時にデータを効率的に管理した事例は、実際の業務でも十分に適用できる良いケースを提供しました。
また、Netflixがデータの削除やアーカイブなどのLifecycleをどれほど細かく体系的に実行しているかを見ながら、データ管理の重要性を改めて考えました。今回のセッションは、単に技術を学ぶことを越えて、クラウド環境でデータ管理戦略を新たに眺めてくれた良い機会でした。
記事 │MEGAZONECLOUD Enterprise Managed Service Center(EMS) Cloud Engineer 6 Team ウォンミンジ
この記事の読者はこんな記事も読んでいます
-
re:Invent2024 StorageAWS re:Invent 2024 セッションレポート #STG216|Amazon FSx インテリジェント階層化: 完全に回復力のある新しいファイルストレージクラス
-
Compliance & Identity re:Invent2024 Security StorageAWS re:Invent 2024 セッションレポート #STG203| AWSバックアップの新機能
-
Compliance & Identity re:Invent2024 SecurityAWS re:Invent 2024 セッションレポート #SEC235|ハイブリッド環境でAWSを介したセキュリティ分析を加速