3FS (Fire-Flyer ファイルシステム)
AI トレーニングと推論ワークロード向けに特別に設計された高性能分散ファイルシステムで、分離アーキテクチャ、強力な一貫性、使い慣れたファイルインターフェースを提供します。
先進的なストレージ技術
3FSの主な特徴
3FSは最新のストレージ技術と革新的な設計原則を組み合わせ、AIワークロードに優れたパフォーマンスを提供します。
- Disaggregated Architecture
Combines the throughput of thousands of SSDs with the network bandwidth of hundreds of storage nodes, allowing applications to access storage resources in a location-agnostic manner.
- Strong Consistency
Implements Chain Replication with Apportioned Queries (CRAQ) to provide strong consistency guarantees, making application code simple and easy to reason about.
- Familiar File Interface
Developed a stateless metadata service backed by a transactional key-value store (like FoundationDB), providing a familiar file interface without requiring learning new storage APIs.
- High Performance
Achieves peak throughput of approximately 6.6 TiB/s in read stress tests on a 180-node cluster, with efficient garbage collection operations.
- RDMA Networking
Leverages high-performance RDMA networking for efficient data transfer between storage and compute nodes, minimizing latency and maximizing throughput.
- Efficient KV Cache
Provides a cost-effective alternative to DRAM caching with high throughput and larger capacity, ideal for AI inference workloads.
システム設計
3FSアーキテクチャ
3FSはストレージ、メタデータ管理、クライアントインターフェース、レプリケーションなどの個別コンポーネントを持つモジュラー設計を採用しています。
ストレージレイヤー
ストレージレイヤーはデータブロックの物理的な保存と取得を処理します。最新のSSDとRDMAネットワーキングを活用して、高スループット、低レイテンシのデータアクセスを提供します。ストレージノードは分離方式で編成され、ストレージとコンピューティングリソースの独立したスケーリングを可能にします。
メタデータサービス
メタデータサービスはファイルシステム構造とメタデータを管理します。FoundationDBなどのトランザクショナルキーバリューストアによってバックアップされたステートレスサービスとして実装されています。この設計は強力な一貫性保証を提供しながら、メタデータサービスが水平方向にスケールして大規模なファイルシステムを処理できるようにします。
ベンチマーク
3FSのパフォーマンス
3FSは高スループットの読み取りから複雑なデータ処理タスクまで、さまざまなワークロードで優れたパフォーマンスを発揮します。
Peak Read Throughput
6.6 TiB/s
Achieved in read stress tests on a 180-node cluster
GraySort Benchmark
3.66 TiB/min
Sorted 110.5 TiB of data in 30 minutes 14 seconds
KV Cache Performance
40 GiB/s
Peak read throughput for KV cache operations
Cluster Size
180 nodes
Scale tested with hundreds of storage nodes
アプリケーション
3FSのユースケース
3FSはデータ準備から推論まで、AIワークフローのさまざまな段階に最適化されています。
- Data Preparation
Organize outputs from data processing pipelines into hierarchical directory structures, efficiently managing large numbers of intermediate outputs.
- Data Loaders
Eliminate the need for prefetching or shuffling datasets by supporting random access to training samples across compute nodes.
- Checkpoint Saving
Support high-throughput parallel checkpoint saving for large-scale training, ensuring model progress is safely preserved.
- Inference KV Cache
Provide a cost-effective alternative to DRAM caching with high throughput and larger capacity for AI inference workloads.
よくある質問
お探しの回答が見つかりませんか？GitHubリポジトリをチェックするか、チームにお問い合わせください。
- What is 3FS?
- 3FS (Fire-Flyer File System) is a high-performance distributed file system designed specifically for AI training and inference workloads. It offers a disaggregated architecture, strong consistency guarantees, and familiar file interfaces.
- How does 3FS differ from other distributed file systems?
- 3FS is specifically optimized for AI workloads, with a focus on high throughput, strong consistency, and efficient handling of both small and large files. Its disaggregated architecture allows for independent scaling of storage and compute resources, and it leverages modern technologies like RDMA networking and transactional key-value stores for metadata management.
- What programming languages is 3FS implemented in?
- 3FS is primarily implemented in C++ (87.0%), with additional components in Rust (4.3%) and Python (2.1%). This combination provides both high performance and safety for critical system components.
- What kind of performance can I expect from 3FS?
- 3FS has demonstrated peak read throughput of approximately 6.6 TiB/s in stress tests on a 180-node cluster. In the GraySort benchmark, it sorted 110.5 TiB of data in 30 minutes 14 seconds, achieving an average throughput of 3.66 TiB/minute. For KV cache operations, it can reach peak read throughput of 40 GiB/s.
- What are the main components of 3FS?
- 3FS consists of several key components: a storage layer for handling data blocks, a metadata service for managing file system structure, client interfaces (including FUSE), and a replication system implementing the CRAQ protocol for strong consistency.
- Is 3FS open source?
- Yes, 3FS is available as an open-source project on GitHub at https://github.com/deepseek-ai/3FS. It is developed by DeepSeek AI to support high-performance AI infrastructure needs.