2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を
Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。
同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部資料が
Discordの公開サーバーから流出しました。

対話型AIの知名度を爆発的に高めた「ChatGPT」を開発するOpenAIは
対話型AIの分野で頂点に立っているとも分析できますが、Googleは
「GoogleおよびOpenAIは次の軍拡競争に勝てる立場にない」としています。
Google、OpenAI、Metaなどの企業がシェアを巡って争う中、一人勝ちするのは「オープンソース」だというのがGoogleの分析です。

2023年3月、前月にMetaが発表したばかりの大規模言語モデル「LLaMA」のデータが突如として
インターネット上に流出し、誰でもダウンロード可能な状態になりました。
この出来事についてGoogleは「コミュニティは自分たちが与えられたものの重要性をすぐに理解しました。
この後、革新的な技術が次々と生み出され、1ヶ月が経過した頃にはさまざまなアイデアが積み重なっていました」と述べ
重要なモデルが人々の手に渡ったことにより開発速度が爆発的に上昇したことを指摘しています。

さらに、LLaMA-65Bの登場からほどなくして、LLaMAをしのぐほどの性能を誇る
オープンソースの大規模言語モデル「Vicuna-13B」が公開されました。
このモデルはChatGPTでのやり取りやプロンプトをシェアできる拡張機能「ShareGPT」のデータに基づき
LLaMAのベースモデルを微調整することにより高品質なパフォーマンスを実現したもの。各種対話型AIの応答品質評価では、ChatGPTを100％とした場合
LLaMAが68％、Alpaca 7Bが76％だった一方でVicuna-13Bの品質は92％に迫っていることが分かっています。

こうしたオープンソースの大規模言語モデルが登場したことについて
Googleは「私たちのモデルは品質という点ではまだ若干の優位性を持っていますが、その差は驚くほど早く縮まっています。
オープンソースのモデルは、より速く、よりカスタマイズ可能で、よりプライベートで
1ポンド当たりの性能は優れています。私たちが1000万ドルと5400億のパラメーター
でなんとかやっていけているところを、Vicuna-13Bは100ドルと130億のパラメーターでやってのけているのです。しかも、数カ月ではなく
数週間でやってのけました。このことは、私たちにとっても大きな意味を持ちます」と指摘。

さらに「低コストで一般の人々の参加を可能にしたことで、大手企業の追随を許さない勢いを伴い
世界中の個人や組織からアイデア出しと反復が活発に行われるようになりました。
オープンソースの最近の成功を後押ししたイノベーションは、私たちが今も苦労している問題を直接解決します。
彼らの仕事にもっと注意を払うことで、車輪の再発明を避けることができます」と続けました。


続きはGIGAZINE 2023年05月08日 13時05分
https://gigazine.net/news/20230508-google-document-llm-arms-race/