世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も [お断り★]
■ このスレッドは過去ログ倉庫に格納されています
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)」だ。
彼らが発表したグラフを引用しよう。
画像
https://wirelesswire.jp/wp-content/uploads/2024/02/21622e3ce0b3cdc355c5a6679c4ea640-1536x1031.png
この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。
しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。
このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。
詳細はソース 2024/2/28
https://news.goo.ne.jp/article/wirelesswire/business/wirelesswire-20240286094.html
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。
[2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
https://arxiv.org/abs/2402.17764
従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。
今回の手法を利用することで行列演算に必要なかけ算の量を大幅に削減できるため、論文では「1bitの大規模言語モデル用の新たなハードウェア設計への扉を開く」と述べられています。
詳細はソース 2024/2/29
https://gigazine.net/news/20240229-microsoft-1bit-llm/ 光ディスクの容量を飛躍的に多くする話といい、飛ばし記事としか思えない
中国人のニュースではそのくらい慎重でいい -1, 0, 1 の3状態を表現するには1bitじゃなくて1.58bit必要なわけだが
どこから「1ビット」なんて話になった？ よく考えたら世界三大発明は全部中国だもんな
発明の国だわ >>104
中国の抱える巨額の負債を減らすには埋めるという(´・ω・`)
でも無理だから着手した時点で中国はジンバブエに(´・ω・`) >>18
俺の8bit脳の計算では既に彼女いると出てたよ
男女がくっつくパターンなんかそんな複雑さはない
日ハム時代から彼女はいた 64ビット
18446744073709551616
64ビットPCでは一度にこの桁の計算をしてるらしい
どれだけすごいのかよく分からん >>104
記事にMicrosoftが成功と書いてある
論文元は中国
数式で表現すると
中国論文＋Microsoft＝ジャップの嫉妬 よくわからんがこういうことらしい
Microsoftの中国のチームが作った「BitNet 1.58Bits」というプログラムは、今までのプログラムよりも3倍速くて、正確に動く特別なプログラムです。
普通のプログラムは計算するのにたくさんの数字を使いますが、BitNetは「-1」「0」「1」の3つの数字だけを使って計算します。
これで、計算がとても簡単になり、速くて、パソコンのメモリもあまり使わなくて済みます。
つまり、Microsoftはパソコンがサクサク動く新しい方法を見つけたということです。
これにより、将来はもっと速いパソコンや新しい機械が作られるかもしれません。 >>111
65536桁の計算とか無理って思うやろ？
それよりずっとすごい >>104
データ量増やしてるよな
新しい単位でも作られるだろうな
>>109
データの取り扱いが肥大化
処理時間が還元 トライ木とかBitapみたいにビット演算で安く早く並列処理できてうまいってことなんかね 中国が開発したなら逆に情報海外に出さない気がするんだが…接収して独占しそう >>121
アルゴリズムは特許取れる
GIFとかAACとか問題になった 三進法コンピュータは1950年代にソ連で実際に作られてたんじゃねえかな？ AIの学習はある入力に対してどんな出力をすればいいかという論理に重み付けをして学習していくイメージだけどその重み付けのパラメータを1固定にして乗算を不要にしたって事なのかな？いや多分違うよな… 実用に15年、普及には20年かかりそう
新理論が出来た出来たいいながらいまだに燃えながらリチウムバッテリー使ってるんだぜ 中国のGDPは日本の4.2倍です
日本の特許出願件数は中国の18%、日本の科学研究論文の数は中国の8％しかありません >>109
物凄く簡単に言うと、今まではデータにシリアルに番号を振っていた
番号が凄い大きな桁になったりして計算に時間が掛かっていた
MSが言うにはそのデータを-1、0、１のみに単純化して計算に掛かる時間を削減した
ということ
でもデータ量がでかくなるからメモリ消費量が多くなる気がするがｗ
気のせいかｗ 頭悪いから何言ってんだかわからんがGPUが欲しいんだな 1ビットで3値を表現？符号ビットの共有とかすんのかね ワイnvidia一株800ドルで10株買ったんやが😨 >>133
そういうのを出してる中国人研究者の7割は日本留学組だし、
いまでも大勢の中国人研究者が本邦に留学している。日本から中国に留学ないし
仕事を求めて中国に行ってる研究者はほとんどいないですがねｗ パソコンとプリンタとの接続も昔はパラレルだったけどシリアルに取って代わられて久しいからな -1,0,1
これをビットとか1ビットと呼んでいいのか？ 日本の技術者(裏切り者)が高級住宅と高給を与えられて開発してるからな
まあ日本の社畜社会が悪いんだけどね 数学的に破綻してんだよ。これだから中国人は信用ならない。>>1 今までは行列の計算(実数の乗算)を大量にする必要があった
それを-1/0/1に置き換えることで乗算しなくて済むようにして計算コストを下げた
中学のときにならった行列の計算方法を思い出そう！ >>134
ハードウエアからの設計になるんじゃまいかな？素子というか。
量子キュービッドもジョセフソン素子も3値だったかなｗ 大規模になると強いのは確かだろうが、、、、、って感じだな >>147
一度に処理したら
どうやってメモリオーバーをフォローすんだよｗ 日本が先駆者として振る舞えるのは不可能な領域だなもはや 0と1と-1
つまり、男と女とオカマが混じった新しい世界だ 2^2を計算するのに
(1+1)(1+1)=1＋1＋1＋1
としたほうがチップ内では速いということだろ 1.58ビットって2ビットやん
+-を切り替え方式でやってビット数減らすんだろうけど 不動産不況の中国からインドへオルカン入れ替え
https://news.yahoo.co.jp/articles/ed8a423771ec3fba5d73f12b0c3b78676b61915b
アメリカのMSCIはオール・カントリー・ワールド・インデックスの構成銘柄を入れ替えた
オルカンから外れる101銘柄のうち、66銘柄は中国株。代わりに入ってくるのがインドです。
完全に見放されてて笑えるｗ >>153
すでに80年代に東北大でやってないかなｗ >>32
ハードウェアのビットの話じゃないよこれ
ソフトウェアですぐ真似できる 実用化されるのはいつなんだよ
とりあえずAMDの株でも買っとけばいいんか？ ゲイツやバルマーの頃のMicrosoftは胡散臭かったけど、ナデラになってからV字回復してるな >>144
1と0だけだよ
-1,0,1だと3進数
コンピューターが扱うのは2進数 書いてあることが全くわからんローグに戻るって事？@ >>162
まあな。だから1.53ビットとか怪しい数字をだしているｗ 中国人は数が多いだけあって天才も多いよね
ルービックキューブ３個をジャグリングしながら全て６面揃えてる中国人の動画見た時は、こりゃ日本人じゃ勝てんわと思ったっけ >>164
windowsが終わって、このままずるずる落ちていくんやろなーと思ってたら
いつのまにか、世界時価総額ランキングで1位になってた 解像度めっちゃ下がりそう
超大規模データには強そうだけど >>165
それは2進法で動くコンピュータってことね。3進法で動くのもあるのさ。
そして3進法のほうがかなり効率がいいのよｗ >>112
AI界隈は論文からの応用がとにかく爆速なのが特徴だから実用化は早いと思うけど、ハードウェア設計からとなるとやはり数年はかかるしnvidiaも似たようなの出すだろうから大して変わらんと思う
というか、GPUの場合はもともとゲーム向け用途で量産できるしエコシステムがあるから
単純に性能だけならセレブラスとかもっと成長してるはず >>138
1bitの3つの状態を単純に-1, 0, 1 という値の表現に割り当てるのって違和感しかない
3値の各bitに符号の意味合いも持たせるなんて符号を最上位1bitだけで表せる2進法に比べてリソースの無駄だし一体どう使うのかな 行列の掛け算の次元を落とすという話があったな
確かにすごいけど実用的じゃないという >>177
量子コンのキュービッドは３つだし、スピンも左回り右回り静止の３つ。より自然ですけどねｗ >>177
昔から
コンピュータ理論の界隈には、3進数を推す派閥があるんだよね
自然対数の底なeに近いのが良いとかなんとかで 日本って論文の注目度でイランにすら負けるくらい尋常じゃないくらい落ちぶれてるけど
資源も無いのに科学分野疎かにするってどういうつもり何だろう あーLLMね、LLM
LLMはまだ食べたことないなぁ 3進なので1.58bitってことか
Setunを現代の技術で復活させてくれないかな AI学習とか最終的にはtrue or falseだし >>188
そだよ。今後の計算機のリミティングファクターは計算に用いるエネルギー量で
上限が設定される。省エネを考えないとオワコン。3進法はめちゃめちゃ効率が良いｗ -1/0/1を使ったのは掛け算を簡略化するためやぞ
-1*-1とか-1*1は考えなくても結果が分かるだろ
0/1/2を使ったら2*2とかは計算が必要になる
ハードウェアは関係ない ARMが1bitになったってコト？
ΔΣ変調みたいな NVIDIAの立場が危うくなってMSの立場が上がることになろうが
FANG+持ってたらトントンだからどうでもいいわ >>194
だから生成系AIは間抜けなのね。「そのどちらでもない」という理論値を扱えないからねｗ >>188
物理にも居るよな
誰だっけなあ
晩年は3が基礎になってるとか言ってたの ■ このスレッドは過去ログ倉庫に格納されています
