RoPE (Rotary Position Embedding)

Gemma 4 MoE モデル。total 25.2B / active 3.8B の超効率設計で、31B に迫る品質を低コストで実現。Tau2 68.2 でエージェント性能も高い。Apache 2.0。

Gemma 4 ファミリー最上位の Dense モデル。256Kコンテキスト、MMLU Pro 85.2・AIME 2026 89.2 など全ベンチマークで前世代を大幅に超越。Arena AI open-source text rank 3。Apache 2.0。

Mistral最大のオープンウェイトMoEモデル。675B総パラメータ、41Bアクティブ。256Kコンテキスト。Apache 2.0ライセンス。

deepseek-chat / deepseek-reasoner を統一する実験版モデル（V3.2-Exp、Hugging Face Hub: deepseek-ai/DeepSeek-V3.2-Exp）。128Kコンテキスト、圧倒的な低コスト。Thinkingモードで CoT 推論対応。

軽量MoEモデル。QwQ-32Bを上回る性能を10分の1のアクティブパラメータで達成。

Alibaba Qwen3 フラッグシップMoE。235B総パラメータ、22Bアクティブ。36兆トークンで学習、119言語対応。1Mトークンコンテキスト。

128エキスパートMoEの大規模オープンウェイトモデル。1Mトークンコンテキスト。GPT-4oやGemini 2.0 Flashを上回るマルチモーダル性能。

業界最大の10Mトークンコンテキストウィンドウを持つオープンウェイトMoEモデル。16エキスパート構成、単一H100 GPUで動作。