東京工業大学、東北大学、名古屋大学、理化学研究所、富士通、サイバーエージェントおよびKotoba Technologiesからなる共同研究チームは、スーパーコンピューター「富岳」を用いて学習した、日本語能力に優れた130億パラメーターの大規模言語モデル「Fugaku-LLM」を公開した。
通常はLLMの学習にはGPUが用いられるが、富岳はCPUベースであり、富士通製のA64FXという特殊なArmアーキテクチャーのCPUが用いられている。今回、深層学習フレームワークであるMegatron-DeepSpeedを富岳に移植することで、CPU上の行列演算ライブラリを高速化しており、従来で110秒かかっていた行列演算を18秒と、約6倍に高速化している。「この分野で6倍高速化するというのは非常に珍しい」（横田氏）。
CPUベースの富岳と、GPUを搭載する東京工業大学のスーパーコンピューター「TSUBAME4.0」との成果の比較について、「単純にノードあたりの性能で比較するのが適切かどうかわからないという前提で、CPUはGPUと比べると速度が出ないかもしれないが、今回、膨大に並列で使用する技術を用いたため、それを人間が使いこなすこともできるのではないか」と横田氏。Fugaku-LLMは、130億パラメーターのモデルを、一から独自のデータで学習しており、全学習工程が把握でき、透明性と安全性に優れているという。 その成果もあり、Fugaku-LLMは、日本語性能に強く、Stability AIによるベンチマーク「Japanese MT-Bench」では平均スコアが5.5と、「国内の独自データで学習しているオープンなモデルにおいて最高性能」だという。GPT-4の平均スコアと比べると大きく劣るものの、人文社会系タスクではGPT-4を上回り、「日本語や日本文化に根差した会話などにおいて、活用が期待される」と横田氏。
説明会にオンライン参加した理研の計算科学研究センター センター長である松岡聡氏は、「今回の技術はFugaku-LLMに閉じたものではなく、AIを用いて科学研究でイノベーションを進める『AI for Science』のプロジェクトにつながる、学習に関する大きな技術的な成果」だとコメント。
South Africa Latest News, South Africa Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
スパコン富岳で「純国産」の生成AI 東工大や富士通東京工業大学と富士通などは10日、スーパーコンピューターの「富岳（ふがく）」を使って生成AI（人工知能）の基盤技術を開発したと発表した。AI向け半導体の供給を一手に握る米エヌビディアの製品を使わず、富士通のCPU（中央演算処理装置）を載せた富岳を用いて「純国産」の生成AIをつくりだした。東北大学や名古屋大学、理化学研究所、サイバーエージェントなども参加し、生成AIの基盤となる大規模言語モデルを
Read more »
“純粋な国産AI”誕生 ハードもデータも全部日本製 スパコン「富岳」で開発スーパーコンピュータ「富岳」で学習をした日本語特化の大規模言語モデルを開発した──東京工業大学と東北大学、富士通、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesの合同研究チームは、そんな発表をした。
Read more »
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
Read more »
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 富士通株式会社のプレスリリース
Read more »
![中国製部品の急成長で2025年以降日本製の車載半導体は使われなくなる…名古屋大学 山本真義 教授[インタビュー]](https://i.headtopics.com/images/2024/4/24/responsejp/2001322269350691038504-2001322269350691038504-A0E64357CD821C289DA7092AF1A4284F.webp?w=640)
中国製部品の急成長で2025年以降日本製の車載半導体は使われなくなる…名古屋大学 山本真義 教授[インタビュー]来たる5月31日、オンラインセミナー「分解して見えた中国製BEVの現在地と日本自動車業界が執るべき技術戦略」が開催される。セミナーに登壇するのは、名古屋大学 未来材料・システム研究所 教授 博士（工学） 兼 名古屋大学大学院 工学研究科 電気工学専攻 教授 の山本真義氏。
Read more »
トリウム229の原子核励起状態の寿命を決定＝理研など理化学研究所、東北大学、高エネルギー加速器研究機構などの共同研究チームは、イオントラップに捕獲されたトリウム229（229Th）の原子核励起状態（アイソマー状態）の寿命を決定することに成功した。既存の原子時計を上回る正確さを持つ原子核時計の実現につながる成果であり、原子核時計による基礎物理定数の恒常性の検証といった物理学の根幹に関わる研究への道を開くことが期待される。
Read more »