世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も [お断り★]
■ このスレッドは過去ログ倉庫に格納されています
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)」だ。
彼らが発表したグラフを引用しよう。
画像
https://wirelesswire.jp/wp-content/uploads/2024/02/21622e3ce0b3cdc355c5a6679c4ea640-1536x1031.png
この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。
しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。
このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。
詳細はソース 2024/2/28
https://news.goo.ne.jp/article/wirelesswire/business/wirelesswire-20240286094.html
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。
[2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
https://arxiv.org/abs/2402.17764
従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。
今回の手法を利用することで行列演算に必要なかけ算の量を大幅に削減できるため、論文では「1bitの大規模言語モデル用の新たなハードウェア設計への扉を開く」と述べられています。
詳細はソース 2024/2/29
https://gigazine.net/news/20240229-microsoft-1bit-llm/ スマホの操作減らせ
はい/いいえ
ログイン
とかとにかく操作が多い >>1
働かない女が世界一の日本で少子高齢化って、どーなってんの？
怠け者なくせに妊娠＆出産すら女への差別だから強要するな！と喚く始末m9😂9m
少子高齢化の原因は“女”だろ？
なぜ政府は女どもを叩かないんだ？
どんだけポンコツ女しかいないの？
30超えて産まない、働かない女は処刑でいいわな😡m9(^Д^)ﾌﾟｷﾞｬｰw
先進国で未だに突出して無職率が高い日本の女
💴納税はしない、働かない、産む機械としての役目しかないのにそれも拒否ｗ
m9(^Д^)9m 一体誰が悪いのか、小学生でも分かるぞ？
政府もマスメディアもニート並のゴミ女どもをもっと叩け
世界的に見てもこの国の女は異常
女は生きてるだけでは無価値なんだぞ！男性の出来損ないであり、産むしか役目がないカタワと同じだからな
産んだら後はお役御免で処刑！姥捨山も復活しろ！税金の無駄遣いだ！
働きもせずに男性が納めた税金や金に寄生して生きるだけの屍ゾンビ!死ね！廃人雌豚死ね！ >>1
男女平等にならない諸悪の根源は“女どもが原因”だった！
【 馬鹿でもわかる、日本女が“怠け者世界一”という画像集 】
↓↓↓↓↓↓↓↓↓↓↓
https://postimg.cc/75ZzGTKM
↑↑↑↑↑↑↑↑↑↑↑
日本は独身女、既婚女ともに無職率、時短パート率世界トップクラスに多いという証拠画像である。
この画像集を見るだけで、如何にして日本女が政治家に「産むしか能がない機械」と罵られたのか、よ～くわかるなｗｗｗ
そもそも少子高齢化なんだから、その産む機械という機能すら放棄してるのが今の日本メス豚どもの特徴である。
●外での労働時間、男女差世界一の日本！
日本女は外での労働時間が世界一少ないという事実
画像集をみると、どれだけこの国の女が異常なのか、わかりましたか？
日本女は見つけ次第殺されても文句を言えない
元々なぜ女に人権も選挙権も無かったのか、よ～～～～く理解できますねｗ
現代社会が異常なだけであって、昔のほうが女への扱いは正しいってこと
この世に出回ってる、働く人が納税する税金の8割以上が、男性が納めた金である。
そのくせ男性が納めた血税から女どもの年金第三号被保険やら無駄なババァどもの医療費控除など、とにかく金食い虫の寄生虫である！
つまり女の8割以上が税金の恩恵を受ける資格すらなく、こいつらが消えれば財政赤字は一気に解消するのである。
女どもお得意の言い訳→「女は妊娠出産がー！」という文句を言うけど
この国では労働は義務であるが、結婚どころか妊娠出産は義務ではない
つまり自分らが楽をしたいがために結婚し、子供を産んだだけである
子供を産んでも働いてる女も極少数いるのに、それを言い訳に無職専業主婦を続ける女が多いのが日本の特徴である。
この恥晒しめ！大人の女が自立しないで男性に寄生するのは韓国女と日本女だけある
☠無職女を見つけ次第、その場で処刑しろ！殺せ！！ぶっ殺してくれ！嬲り殺せ！！😡
癌細胞と同じくらい厄介な生き物＝日本メス豚 >>1
■ 男 女 平 等 を 都 合 よ く 使 い 分 け る 女 た ち ！
権利はクレクレと要求、それに伴う義務や責任などの負担は一切しないでスルー
平和で安全圏に居るときは男女平等だろ！と喚く癖に
有事の際には女だから見逃せ！女だから危険なことはしません！と逃げる
↓
例：危険を伴う仕事、3Kやブルーカラーの仕事を拒否！あくまでも安全かつ快適なホワイトカラーの仕事のみ要求
例：戦争時、徴兵されるのは男性のみ、女は逃げる。これこそ究極の性差別なのに、女どもは何も言わない
例：男女の恋愛面でも都合よく平等や権利を使い分け、男性にのみ従来の価値観を押し付ける女ども。デート代は全額出せ！などなど
女が死んでも社会的な損失は一切ないんだぞ？男性に殺される女は大半が自業自得
むしろ男性の方が大事だからな
無職率も圧倒的に女が多く、男性と同じ義務教育を受けても難関大学は男子ばかり。この事実を見ても女どもに人権も教育もいかに無駄かってことがよくわかる
社会に出ても役に立たない女ばかりで、産むという取り柄しかない女が死んでも誰も悲しまないｗ
むしろ無駄な税金を使わずに済んだからメリットしかないんだがな
他の多くの国では女が産まれたら間引くところも多々あるんだから
それだけ世界的にも女というのは嫌われてる性別w
役に立たないゴミってことだわ
◆18歳以上の女のフルタイム勤務率が世界最低レベルｗ 無職率は世界ワースト！
https://www.newsweekjapan.jp/stories/2020/10/08/data201008-chart01.jpg
大昔から女が差別（実際は区別）されてきたのはクズだからだろ
嫌う、嫉妬、妬み、責任転嫁、これらの負を表す漢字に「女」がつく理由がよくわかるｗ
昔の人間は正しかったってこと
姥捨て山も正しい、女に選挙権も人権も与えなかったのも正しいってこと
今の糞メスを見てたらよ～くわかること
男女平等と喚くわりには、未だに社会に出て働いて義務や責任を負担しようとしないで、美味しいところだけ要求する二枚舌の異常者
既得権は決して手放さない
この異常な生き物が世界中で忌み嫌われる理由もわかるだろ
女が産まれたら間引くという行為をする理由もわかる
女が数多くいても無駄だからな
資源や税金の無駄使い >>1
m9(^Д^)ﾌﾟｷﾞｬｰw💀😡日本女は世界一の怠け者だから、ガチで死んでいいｗｗというか死ね！今すぐ
そして男性は世界一の働き者、ソースもある
男性の労働時間は日本は未だに世界一という事実
↓
OECD（経済協力開発機構）が2020年にまとめた生活時間の国際比較データ（15～64歳の男女を対象）によると，有償労働時間1が長いのは，比較国中，日本男性（452分），韓国男性（419分），カナダ男性（341分）となっている。有償労働時間のOECD平均は，女218分，男性317分である。
どの国も有償労働時間は男性の方が長いが，各国において男女比（女を1とした場合の男性の倍率）を見ると，男女比が大きいのは，比較国中，1.7倍の日本，イタリア，1.6倍のニュージーランドである。
ちなみに日本の男女での賃金格差はたったの1.3倍
つまり女よりも1.7倍の労働をやってる男性の方が時給換算すると、女よりも低賃金という異常な国
そして女どもは男性に比べて働かないのに、家事や育児も手伝えと喚くキチガイ
だから日本女は男性に殺されても文句言えない
【💀女が求める男女平等】→デート代は当然男が負担！男性は女を養い、イクメンでも居てね♥家事も当然手伝えよ？レディースデイなど女が得をする制度には文句は言いません！
でも女にとって不利な事についてはどんどん文句を言います！
女は楽な仕事しかしません。だってか弱いもんｗ私は産む機械だから出産後は仕事やめます！だって社会が悪い！セクハラが悪い！←( ´,_ゝ｀)ﾌﾟｯ
当然旦那が一家の大黒柱ね！でも財布は奥さんの私が全額預かります！
財布を渡さない男は経済的DVで訴えます！
↓
寄生虫女お得意の被害妄想：「本当に日本の女は社会的地位が低くて困る（ドヤ顔）」 m9(^Д^)9m だからマンコは産む機械と罵られるｗ 死ね死ね今すぐ死ね死ね >>1
“女”だから馬鹿にされて差別されてるのではなく、“女という理由でありとあらゆる事から逃げてる”からバカにされて男性（＝社会）から信用されないんだよ
この構図をいつになったら理解するんだろうな？
生きてても何も生み出さないメス豚は死んでOK
お前らメス豚が社会で生み出したものは何一つないからな
産む（笑）行為なら野生の動物でもやってるのが現実ｗ 女＝野生の動物以下のヒトモドキ
料理や美容や服飾など、本来は女が得意な分野ですら男性が秀でてるのが現実ｗ 男性から大幅に性能や機能を削ぎ落とした生き物が「女」という出来損ないの派生である。
■今の少子高齢化、経済悪化、人手不足などは間違いなく日本の“無職女”が原因だからな
.
https://mevius.5ch.net/test/read.cgi/gender/1682068596/
👆↑👆
このスレを見ればどれだけ日本の女が異常なのかよ～くわかるｗｗ女に人権すら不要な理由もわかります。
●夫と対等以上に稼ぐ妻の割合、日本は世界最低レベル（笑）たったの５％（失笑）
https://www.newsweekjapan.jp/stories/2018/11/21/maita181121-chart02.jpg
専 業 主 婦 は 紛 れ も な く 無 職 だ か ら な
男性は女と関わらなくても何も問題なし
男性に寄生できない女が一番ダメージを被るんだが？ｗｗｗ
世界、そしてアメリカのメディアからも叩かれてる日本の寄生虫女たち
日本女は世界一の怠け者（寄生虫）だとニューヨーク・タイムズ紙に書かれたのを知らないのかな？
あの有名なニューヨーク・タイムズ紙に揶揄された日本の寄生虫女w
●先進国で唯一無職女が多い異常な国、日本（笑）
いつになれば男女平等とほざく女は外で働くんだ？
産む機械以外になんの役にも立たない雌豚 ｗ
日本に出回ってる税金の9割以上が男性が収めたものです。
女はほとんど納税すらしてない寄生虫である！
なぜ女どもが“寄生虫”と罵られるのか、よ～くわかるねｗ メモリ使用効率良すぎだろ
ブレイクスルーレベルだはこんなの 衆院神奈川3区から立候補している幸福実現党公認のいき愛子陣営の運動員を棒でた
亀岡容疑者は、いき氏の演説中に、「ふざけるな!」と叫び、長さ約50センチの棒で殴りかかろうとした。これを止めに入った運動員の(たとい時、創価学会男子にいるを示す「創価班」の3/4) AAS
公明党は「創価部」の意見を無視で中心メン
バーである北岡伸一座長代理に来てもらって、くわしく聞きたとちなみに日野は創価
聖教新聞でインタビュー受けてたし、福岡で地区部長やってる6創価というと、スクエニのCGデザイナー後藤宣広もそうだな つまり俺のちんこを上げたり下げたりするだけで高速な処理が出来るの？ 中国のチームというのがなんとも...
スパイウェア入ってそう とりあえずグラボの値段は下がるのか？
あとnVidiaの株は？下がったら買い？ エヌビ死亡かよ、半導体銘柄も死亡で日経終わるじゃん なんて技術だよ
1ビットLLMが商品化されたなら、CRJやSunCrownが完成しているってことじゃない
これからは９Seven^tenの時代が来るんだな これからはわざわざGPU用意しなくてもじゃなくてCPUだけで計算できるようになるよ
コスパもスピードもめっちゃあがるよ
って論文 あーこれね
理屈上はうまく行きそうだけど
やってみるとそうは行かないんだよね 期待して開いたらチャイナチームって見てガッカリだよ
これまでチャイナが発表した先進技術で実売まで漕ぎ着けた物
一つでもあるのだろうか？ ＞「-1」「0」「1」の3つの値
1ビットじゃねーじゃん
おまけに1/4無駄っぽい 何言ってるか分からない人が多いと思うから説明しとくよ
論理というのは詰まるところ足し算なんだよ
たとえば
1+1=2
ほらね？ >>49
そう思ってた時期が俺にもあったわ
俺も子供の頃はこんなの机上の空論だと思ってた AIに関する新しいアルゴリズムが発案されて
小数点演算機能のの貧弱な雑魚CPUでも推論や学習がが出来る様になる >>1
一方、日本は、スパイ野党がひたすら日本妨害してるのであった
立憲民主※の政策
.
※立憲民主→ 憲政史上最悪の政党である民主党が何回も党名ロンダした末の政党
.
・アダルトコンテンツ規制
・緊急事態条項反対
・自衛隊縮小
・移民政策正式化
・タリバン容認
・イスラム土葬墓地推進
・モスク増設
・モリカケガー
・桜ガー
・五輪経費ガー
・円高ウォン安
・半導体産業に反対 ←←←
・量子技術開発反対 ←←←
・デジタル化に反対
・GHQ憲法維持
・日本の軍事研究禁止
・自虐史観の継続
・長射程攻撃装備は日本が有利なるので反対
・公安の捜査権縮小
・国防予算を削減
・韓国や北朝鮮との関係改善
・国民に黙って韓国国債5兆円分購入〜2nd〜
・中国と関係改善
・日の丸の廃止
・旭日旗の廃止
・外国人参政権の創設
・朝鮮学校無償化
・中韓技術交流の推進
・アニメ漫画の２次元絵規制
・外国人の福祉強化
・大学の国防技術研究を禁止
・科学予算の仕分け
・多文化共生庁の設置
・皇居取り壊してアジア平和記念館建設
. -1か
そりゃ0と1があるのに-1が無いのは片手落ちだな
乙武呼ばないと 単純過ぎて逆に訳分からん
頭のいい奴があれこれ考えて来ただろうに
夢物語じゃなかったのか GPU確保に遅れをとる中国のディスカウント運動の一貫だろ
明らかに有り得ない内容だがアホが少しでも騙されればいいな系の 5ちゃん民のレベルじゃ分からんか そうか
誰か説明しろ >>1
よく分からんがNVIDIA死亡ということか？ この前も7nm半導体の量産に成功したとか嘘言ってなかったか これで大騒ぎしてるのは日本だけな
日本以外ではほとんど話題になっていない
ヒント：論文の著者は全員中国人 >>1
無理です。そんなのやると金融の信頼がゼロになるよ。ああ
中国は巨大な負債を消したいから、埋めるために足し算をしたいだけなのか？ｗ どんなに早くてもデジタルなら基本はビットのパラレル処理じゃないんだ？ >>80
アホか
ー１と０だけのビットなんてのは
１と０だけのビットと同じと言ってるもんだぞ。(´・ω・`) フフフ、分かったぞ！分かった！
おそらく>>1は何か説明しようとしているのだ！ MicrosoftがNVIDIAに頼る比率下げて自分で作るわって言い出したのはこれの目処がたって作るのがCPUで良くなったからやね ビットコインの高騰はこれか
そして実現の噂が出たら一気に崩壊www 理屈からして破綻してんだよ。ついに馬脚を現したな(笑)
中国人民元は一つの発行番号に対して２枚分の紙幣通貨を現物で印刷してるからな。ｗ
それを更に倍にすると人民元の価値は暴落するぜｗｗｗ>>1 全てのゲート回路は加算機で実現していると聞いたが？？ LLM ってのは大規模言語モデル Large Language Model のことね。
記事中の論文タイトルにも出てるけど。
アダマール行列が何たらって感じかのう(さっぱり分かってない)。 >>89
>>88
インチキしますと宣言したも同然
で、取引が不成立になって経済が混乱するだけ。ｗｗｗ もうだめだな。中国は終わった。割とマジでｗ
経済混乱の最中、仕入れをまともにできるわけがないｗ 三進法の時代か
そのうち用途に合わせて素数法とかも出てくるんかね ■ このスレッドは過去ログ倉庫に格納されています
