なぜ、MetaはAIを無料公開するのか？ CEOのMark Zukerberg氏がインタビューで回答していたので、内容をまとめてみました。
例えばLlama2は最新情報を持っていなかったので、検索エンジンにアクセスできるツールを開発した。それが便利だったのでLlama3には検索エンジンにアクセスできるツールが内蔵された。今、Llama3の外側にエージェント的なツールを開発している。それはLlama4に内蔵されるようになると思う。（※）筆者解説：サードパーティーがLlamaの周辺に追加機能を取り付けた特化型モデルを開発することは奨励するが、その追加機能が多くのユーザーにとって価値のあるものならMeta自身が次期モデルに内蔵していくことになり、次期モデルがリリースされるとサードパーティの特化型モデルが陳腐化する可能性がある、という意味。年末までに35万個のGPU（NVIDIA製のAI向け半導体）を購入する計画だが、今は22万個から24万個のクラスター（半導体の集合）で学習と推論の両方を行なっている（※）。Metaは、SNSコミュニティの運営に推論を行わないといけないので、AIの競合他社に比べると推論に割り当てるGPUの割合が多いように思う。（24:00）
（※）筆者解説：半導体は大別すると、2つの用途で使われる。1つはAIモデルにいろいろなことを学ばせるため。その用途は「学習」向けと呼ばれる。もう1つは、学習済みのAIモデルがユーザーの質問に答えるという用途。これは「推論」向けと呼ばれる。それだけ学習させれば、さすがにそれ以上学習させても性能の向上は見込めないと思っていたのだが、それでも学習量に応じて性能は向上した。性能向上が鈍化する兆しがなかった（※）。もっと70Bの学習を続けたかったんだけど、さすがにLlama4の学習にも取り組みたかったので、仕方なく70Bの学習はいったん打ち切った。（24:57） （※）筆者解説：中小規模のモデルでも学習データを増やすことで性能が向上し続ける可能性があるということ。Llama３の中規模モデルはLlama2の大規模モデルと同等の性能が出ると言われるが、今後学習データを増やすことで、より高性能な中小モデルが登場する可能性がある。誰にも分からない。多分今1000億ドルを投資してもスケール則（AIモデルの規模を大きくすればするほど、性能が向上するのではないかという仮説）が十分続くのではないかと思っている。しかしその先は分からない。この先もこのペースで指数関数的にAIが進化するのかどうか、誰にも分からないと思う。過去1～2年はGPU不足が壁になった。その壁もかなり解消されたので、さらに多くの資本が投入されようとしている。それがどこまでいくのか。しかし投資対効果が行き着くところまで行くまでに、エネルギー不足の壁にぶつかると思う。電力供給は政府によって規制されている。発電所や送電施設の建設など、政府によって多くが規制されているので、実現するまでに長い時間が必要になる。全てのソフトをオープンソースで公開しているわけではない。Instagramのコードはオープンに
そのおかげでわれわれのサーバーデザインが業界標準になった。そのデザインをベースに周辺パーツも安価で大量生産されるようになり、多くの人がその恩恵を受け、われわれにとっても何十億ドルものコスト削減につながった。
South Africa Latest News, South Africa Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
40代女性の体力が低下…半数以上が「ほとんど運動をしていない」 料理中などにできる“簡単な筋トレ”を紹介 【#みんなのギモン】10日のギモンは「40代女性体力低下…なぜ？」です。なぜ、40代女性の体力が低下しているのか、その背景をみていきます。◇運動週1日未満影響は？◇家で“ついでに”体力作り■コ...
Read more »
世界的なファッションブランドが田舎の風景の再生に取り組む理由とは企業が社会課題の解決に取り組むことが当然の時代となりました。しかし、「どのように」に注目が集まることはあっても、「なぜ」を掘り下げることはあまり多くありません。「意味のイノベーション」は、「なぜ」それに取り組むのかが浮き彫りになるアプローチです。今回取り上げる事例は、世界的なファッションブランドを作り上げた1人の企業家が、田舎に意味を生み出し、それを企業活動に重ねていったというストーリーです。彼の「なぜ」の始まりは子ども時代の体験にありました。
Read more »