128エキスパートMoEの大規模オープンウェイトモデル。1Mトークンコンテキスト。GPT-4oやGemini 2.0 Flashを上回るマルチモーダル性能。
対応機能
1Mトークン コンテキスト MoE（128エキスパート） ネイティブマルチモーダル GPT-4o/Gemini 2.0 Flash超え
スペック
コンテキストウィンドウ
1.0M トークン
パラメータ数
400B total / 17B active
入力モダリティ
テキスト 画像
出力モダリティ
テキスト
オープンソース情報
- 重みの公開
- 公開
- ライセンス
- llama-community
- 学習データの開示
- 非開示
学術・技術メタ
アーキテクチャ
MoE (128 experts)
学習トークン数
30T
対応言語
en de fr it pt hi es th