業界最大の10Mトークンコンテキストウィンドウを持つオープンウェイトMoEモデル。16エキスパート構成、単一H100 GPUで動作。
対応機能
10Mトークン コンテキスト MoE（16エキスパート） ネイティブマルチモーダル 単一H100 GPU動作（Int4量子化）
スペック
コンテキストウィンドウ
10.0M トークン
パラメータ数
109B total / 17B active
入力モダリティ
テキスト 画像
出力モダリティ
テキスト
オープンソース情報
- 重みの公開
- 公開
- ライセンス
- llama-community
- 学習データの開示
- 非開示
学術・技術メタ
アーキテクチャ
MoE (16 experts)
学習トークン数
30T
対応言語
en de fr it pt hi es th