Hugging Faceは、WebGPUを活用してローカルおよびブラウザ環境でのAI推論を劇的に高速化するオープンソースライブラリ「@huggingface/kernels」を公開した。
行列乗算やアテンション機構など、トランスフォーマーモデルの計算ボトルネックとなる200種類以上の最適化済みWebGPUカスタムカーネルを提供する。
ネイティブライブラリのインストールや複雑な環境構築を必要とせず、クライアント端末のハードウェア性能を最大限に引き出したプライバシー保護型オンデバイスAIの構築を支援する。
コメント (0)