Hugging Faceは、TRL（Transformer Reinforcement Learning）ライブラリを活用し、350Mパラメータ規模の軽量モデルに対してわずか100ステップのGRPO（Group Relative Policy Optimization）強化学習を実施することで、構造化出力の精度を劇的に向上させる手法とレシピを公開した。
SmolLM2-350Mをベースモデルとして使用し、JSONスキーマ準拠や指示追従ベンチマーク（IFEval）において、短時間の強化学習により適合率が大幅に改善することが実証された。高価な計算リソースを必要とせず、単一の消費者向けGPU環境でも実行可能なオープンレシピとして提供されている。
この手法により、エッジデバイスや軽量環境で動作するエージェント向け小型モデルにおいても、信頼性の高い構造化データ生成が可能となる。
コメント (0)