Metaが新しい言語モデル「LLaMA」を公開。
概要
Metaは、最新の言語モデル「LLaMA 3.1」を公開しました。このモデルは、8B、70B、405Bの3つのサイズがあり、それぞれにベースモデルと指示モデルがあります。LLaMA 3.1は、長いコンテキストに役立つ効率的な表現である「Grouped-Query Attention」(GQA)を使用しており、8つの言語をサポートしています。
背景
LLaMAは、2023年2月に初めて発表されました。以来、LLaMA 2とLLaMA 3が順次発表されており、LLaMA 3は2024年4月に公開されました。LLaMA 3は、オープンソースであり、無料で利用できるようになりました。
MetaのLLaMAの特徴
LLaMA 3.1は、以下のような特徴を持ちます。
- **多言語対応**: 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語をサポートしています。
- **長いコンテキスト**: 128Kトークンのコンテキスト長を持ち、長い会話を処理することができます。
- **高性能**: LLaMA 3.1は、広範な業界ベンチマークで最先端の性能を実証しています。
- **オープンソース**: コミュニティメンバーが合成データの生成やモデルの蒸留など、新たなワークフローを実現することができます。
競合の激化
LLaMA 3.1は、GPT-4oやClaude3.5 sonnetと競合する性能を持っています。特に、405Bモデルは、コンテキストウィンドウが1万2,800とGPT-4oと同じであり、長い会話を処理する能力が高いとされています。
オープンソース化の影響
LLaMA 3.1のオープンソース化は、研究や商用目的での利用を促進し、AI技術の進展に貢献することが期待されています。また、コミュニティメンバーが新たなワークフローを実現することが可能になり、AIの応用範囲が広がることが予想されます。
関連するその他のニュース
- Metaは、LLaMA 3.1を使用したAIアシスタントを提供しており、無料で使用できる最も賢いAIアシスタントとなっています。
- LLaMA 3.1は、画像生成がより高速になり、入力と同時に画像が生成可能になるとされています。