Hugging Faceは、大規模言語モデルの強化学習手法「GRPO（Group Relative Policy Optimization）」を、NCCL等の複雑なクラスタ通信インフラを使わずに実行する「Async GRPO」の手法と実装を公開した。
LoRAアダプタ、オブジェクトストレージ（S3等）、および軽量プロキシを組み合わせることで、GPUノード間の直接通信を行わずに非同期でモデル更新を行う。これにより、Hugging Face Jobsをはじめとする分散クラウド環境において、低コストかつ柔軟にRLファインチューニングを実施できる。
コメント (0)