OpenAIは、ChatGPTの週間アクティブユーザー数が10億人を突破したことに伴い、毎秒2,200万リクエストを処理する社内分散ストレージプラットフォーム「Habitat」の進化とスケーリング手法を公開した。当初の単一Pythonライブラリから、グローバルに分散配置された高可用性ストレージ基盤へと刷新されている。

動的なトラフィックシャーディング、メモリキャッシュとSSDティアリングの最適化、ならびに障害発生時におけるミリ秒単位のフェイルオーバー機構により、急激なユーザー増にも耐えうる低遅延かつ強固な基盤を実現した。

https://openai.com/index/scaling-storage-one-billion-users-part-one