Google DeepMindが、並列的なテキスト生成を可能にする実験的なオープンウェイトモデル「DiffusionGemma」を公開した。
離散テキスト拡散による高速推論の実装
DiffusionGemmaは、Gemma 4ファミリーのアーキテクチャをベースにしており、従来の自動回帰（オートレグレッシブ）型モデルのようにトークンを1つずつ順番に生成するのではなく、「離散テキスト拡散（Discrete Text Diffusion）」と呼ばれる手法を用いて、キャンバス上のテキストブロック全体をノイズ除去しながら並列に生成・修正する。
260億（26B）のMixture of Experts（MoE）パラメータを持ち、推論時にはその一部（38億パラメータ）のみをアクティブ化する。これにより、高い推論能力を持ちながらローカル環境でも高速に動作し、インラインテキストのリアルタイム編集や迅速なプロトタイプ作成など、速度が要求されるインタラクティブな開発ワークフローに適している。
https://developers.googleblog.com/diffusiongemma-the-developer-guide/
コメント (0)