Speculative Decoding
algorithm
登場日
2022年11月
表示形式
小型ドラフトモデルで複数トークンを先行生成し、本モデルで一括検証することで推論を高速化するアルゴリズム。
🔗 外部リンク
次に進む
目的に合わせて、学ぶ・比較する・相談するの3つの導線から選べます。
小型ドラフトモデルで複数トークンを先行生成し、本モデルで一括検証することで推論を高速化するアルゴリズム。
目的に合わせて、学ぶ・比較する・相談するの3つの導線から選べます。