フランスのAIスタートアップであるMistral AIが開発した大規模言語モデル「Mistral 7B」が、2023年9月に登場しました。モデルの重みがApache 2.0ライセンスでリリースされているので自由に調整してチャットAI開発に利用可能となっているほか、パラメーター数を73億個に抑えているにもかかわらず「Llama 2 13B」や「Llama 1 34B」などパラメーター数の大きいモデルよりもベンチマークで高いスコアを残しています。
「Mistral 7B」「LLaMA 2 7B」「LLaMA 2 13B」「LLaMA 1 34B」という4つのモデルを使用してさまざまなベンチマークで性能を比較した結果は下図の通り。パラメーター数が大幅に小さいにもかかわらず、Mistral 7Bは全てのベンチマークでLLaMA 2 13Bを上回り、LLaMA 1 34Bと同等の性能を発揮しています。
また、マルチタスク性能を計測するMMLUのほか、推論、知識、読解力のそれぞれの分野でLLaMA 2がMistral 7Bと同等の性能を出すにはどれくらいのパラメータ数が必要なのかを推測した結果が下図にまとめられています。例えばMMLUにおいて、Mistralは73億パラメータで230億パラメーターのLLaMA 2と同等の性能を出す事ができ、メモリの使用量や推論にかかる時間などのコストを大幅に削減可能です。 Mistral 7Bはスライディング ウィンドウ アテンションという手法を利用しています。これはアテンションの計算時にトークン間の全ての組み合わせを計算する代わりに一定範囲のみを計算する手法で、従来のアテンションメカニズムに比べてメモリの使用量や計算時間を大きく削減することができます。
South Africa Latest News, South Africa Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
大きな胸もスッキリ見せる！グラマーさんならではのバストの悩みを解消し、キレイを引き出す大人気フルカップブラ「どんとこいブラ」から大人かわいい秋の新色「オール...株式会社HEAVENJapanのプレスリリース（2023年9月28日 10時30分）大きな胸もスッキリ見せる！グラマーさんならではのバストの悩みを解消し、キレイを引き出す大人気フルカップブラ[どんとこいブラ]から大人かわいい秋の新色[オールドローズ]が登場。
Read more »
【オリジンの本格中華】「回鍋肉弁当」が登場！イオン株式会社のプレスリリース（2023年9月28日 10時00分） オリジンの本格中華 [回鍋肉弁当]が登場！
Read more »
「ジュビロ磐田」とアイフリークスマイルズのスペシャルコラボ！九九学習アプリ「九九のトライ」に「ジュビロくんのひみつ」が登場！株式会社アイフリーク モバイルのプレスリリース（2023年9月28日 13時00分）[ジュビロ磐田]とアイフリークスマイルズのスペシャルコラボ！九九学習アプリ[九九のトライ]に[ジュビロくんのひみつ]が登場！
Read more »