0001飴棒 ★2023/06/14(水) 16:25:50.16ID:HocvbXry9
AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告
Gigazine 2023年06月14日 08時00分
https://gigazine.net/news/20230614-feedback-loop/
詳しくはリンク先へ
（略）
AIコンテンツによって学習データが崩壊していくメカニズムを、シュマイロフ氏は「データの偏り」によるものだと説明しています。
シュマイロフ氏によると、人間によって生成された元データは世界をより公平に表している一方で、
ジェネレーティブAIモデルは人気のあるデータを過剰に優先する傾向があり、
あまり人気のないデータを誤解したり、誤って表現したりすることが多々あるとのこと。
例えば、90匹の黄色い毛皮のネコと10匹の青い毛皮のネコを合わせた100匹のネコの写真を学習させた場合、
モデルは「黄色のネコがより一般的」ということを学習すると同時に、「青いネコも黄色がかって表現」することがあるほか、
新しいデータを出力する際に「緑色のネコ」を出力する場合があります。
AIが生成した「黄色がかった青いネコ」「緑色のネコ」をさらに学習するトレーニングサイクルを行うと、青いネコは次第に黄色の色味を増していき、
最終的に全てのネコが黄色に変わっていきます。
このように、進行プロセスでゆがみが起きたり、少数データの特性が最終的に失われることを「データの崩壊」と研究者グループは表現しています。
さらに、これを避けるためトレーニングサイクルを多く繰り返さないようにモデルをトレーニングした場合でも、
モデルはデータの頻繁な繰り返しを避けるために誤った応答をでっち上げ始めるため、依然としてモデルの崩壊が発生することがわかっています。
モデルの崩壊への対処策として、論文では
「オリジナルのデータセットの独占的で、名目上人間が作成したデータセットの高級コピーを保持し、
それで定期的に際トレーニングしたり完全にリフレッシュしたりすることで、AIが生成したデータによる汚染を回避する」
「人間が生成した新しいクリーンなデータセットをトレーニングに導入する」というアイデアを挙げています。
データの崩壊を防ぐには、学習量をしっかり確保し、特徴を正確に描写した上で、
データセット内で少数派グループが公正に表現されるように設定することが重要だとシュマイロフ氏は指摘しています。
シュマイロフ氏はVentureBeatの取材に対し、
「人間が作成したデータを10％トレーニングに含めれば、AIコンテンツを再帰的に用いたとしても、モデルの崩壊はそれほど早く発生しないと考えられます。
しかし、早くはないものの、依然として崩壊は発生します」と語っています。 0376ウィズコロナの名無しさん2023/06/16(金) 10:55:18.37ID:7mttU+9N0
>>372
わたしのブラックジョークが誰にも通じないらしい…. 0377ウィズコロナの名無しさん2023/06/16(金) 11:32:12.03ID:426tv3mC0
カラー写真や画像をAIに学習させて、昔の白黒写真や映像をカラー化することができるそうだが、
どれだけ学習量を増やしてもチューリップの花に色を付けることはAIには難しいのだそうだ
桜の花などとは違って典型的な色がないと学習できないという
0378ウィズコロナの名無しさん2023/06/16(金) 11:35:03.77ID:IuKl6p1x0
>>267 この可能性ってあるのかね
ネット空間がAIクソ記事クソ画像で埋め尽くされて、クローズドな人間による価値担保された情報空間に人々が逃避する。ようは雑誌とかテレビしかない時代に戻ると
でも実際はGoogleが適切な価値基準を設定してクリーンな情報空間を維持する気もする >>316
LLMは生物の直観を機械化したもの
意識や思考を機械化するモデルはまだ発明されてない 0380ウィズコロナの名無しさん2023/06/16(金) 12:17:38.31ID:bnMh6PUm0
無責任システム
>>379
>思考を機械化するモデル
ルールベースの論理は大昔からあって・・
ルールベースのルールを生成型AIで自動構築(学習する)ってのは、素人目には、もう少しでできそうなんだけどなぁ。。 0385ウィズコロナの名無しさん2023/06/16(金) 20:45:07.32ID:88vPXxUt0
リストを見せてもらえませんでしょうか？
>>57
人間だってそういうデータに接してたら同じ反応するべ いやしないけど
ウク戦争も懐疑的に見てるし
ロシア五毛とか言われつようになったが
イラストAI開発者の一人だったかな
ハード面の不足だか準備が足りないみたいな事言ってた
変な自動翻訳だったから全然違うかもだけど
電力はどこぞの核融合実用が本当なら確保できるだろうけど、渋谷となると地方に作ってもらわなかな
なんかCPUも名前が凄そうなの見掛けたけど、量子とかわからんす
0390ウィズコロナの名無しさん2023/06/17(土) 13:28:43.88ID:AjT5Ypiz0
0391ウィズコロナの名無しさん2023/06/17(土) 19:18:17.98ID:hSMQXueT0
0392ウィズコロナの名無しさん2023/06/17(土) 19:54:49.97ID:OEsbXqCK0
二世への信仰の強要もDVの項目に追加したらどうか？如何なる時も人類は自由であるべきだ。
by .エコーチェンバー教
0393ウィズコロナの名無しさん2023/06/17(土) 22:02:48.77ID:+dofoukL0
>>1
>人間が作成したデータを10％トレーニングに含めれば
とするとAIの学習速度を人間がデータ作成にかかる時間の10倍までに制限しないといけないわけか 0395ウィズコロナの名無しさん2023/06/18(日) 01:16:22.44ID:X0yQCZeT0
>>393
AIが取り込む割合を絞れば良いだけじゃないかね、
人間が書いた物を判別する為のデータが有るならだが。 >>1
休眠させたらリセットする、整理選択定着するみたいな仕組みを作らにゃならんな。人間的ですな() 0398ウィズコロナの名無しさん2023/06/18(日) 01:23:33.50ID:4EolZAOy0
同族喰いは狂牛病のように狂うのが世の常
伝聞が変化していくようで面白いね、そこは人間も同じ
完全なコピーではなく揺らぎが発生することが進化の秘密かもしれないが
適度な補正が無ければ破綻してしまう
>>126
高次元の存在が作り出した人工物ってのはうっすらだけど考える事がある
宇宙の存在なんか見ても明らかに作り物の箱庭感を思わされる胡散臭さがある 0401ウィズコロナの名無しさん2023/06/18(日) 10:16:10.72ID:ciNxSGvI0
AIの進化系としては正しいんでは？
機械が作って機械が学習する、人の関与が無い独自の思考。
0402ウィズコロナの名無しさん2023/06/18(日) 11:11:40.27ID:qBcibqLQ0
>>401
AIは過去に蓄積されたデータの分析判断しかできない
新たな創造、発見、発明、創作はできない >>402
>新たな創造、発見、発明、創作はできない
これまでの凡作のAIはね
簡単な物理法則 (F=ma とか)を発見させる・・ぐらいはもうすぐできるよ
将棋やチェスで、勝率が極めて高い独創的な序盤戦法を発見する・・ぐらいはできている 0404ウィズコロナの名無しさん2023/06/18(日) 11:44:31.35ID:X0yQCZeT0
>>402
ああ、それを出来る様になるのが正統な進化でなけりゃならんと？
既存の情報の組み合わせで新しい物を産み出すって意味なら、出来てはいるだろう。
人間が発明をするパターンと同じだな、
人間の要望に応じて新たなシステムをプログラムする程度なら既に出来る。
AIの作り出す動画はまるでダリの絵画を動かしたかの様だ。 利益や効率目的のテクノロジーはいい加減に終わりにすべきだろ
地球の住人は人間だけではない
今後は自然環境を護り地球と共生を図る為に活用すべきだと思う
0406ウィズコロナの名無しさん2023/06/18(日) 13:44:50.83ID:4EolZAOy0
このループは近代文明そのもの
ハイデッガーが予見してた
0408ウィズコロナの名無しさん2023/06/18(日) 15:08:36.73ID:MsInPCzX0
90年代のアニメの垂れ垂れ現象みたいなもんだな
最近の若者が見ると原画崩壊と間違えるｗ
0409ウィズコロナの名無しさん2023/06/18(日) 15:17:51.81ID:ei3xlrLz0
AIがAIを育ててマシンがマシンを作る時代や
もう終わりだね人類
AIによって人の作り出したコンテンツが蒸留というか昇華？されていくとか
むしろワクワクするけどな
映画の特撮でcgとの境界を手動で補正した苦労話をテレビでやってたけどそういうのが一切無くなる
>>409
まさかと思うがAIがAIの手で進化すると勘違いしてないか
今騒がれてるAIは最適解しか出せないんだぞ
出力した時点で完成品
進歩できないんだよ
進化してきた人間と違ってな 0415ウィズコロナの名無しさん2023/06/19(月) 05:28:09.98ID:CBOSnVSI0
FBIが会議してるようなスレ
AIに政治させると少数マイノリティは
切り捨てられるということか
LGBTなんかを排除したい層がこの特性を利用しそう
気持ち悪い人種の極東モンゴロイド誕生みたいなもん？
AIは根拠や論理から結果を出してるわけじゃないからエラーの検知と訂正が出来ない
AIにAIの結果だけ食わせ続けるとエラーが増幅されて徐々に狂ってく
0419ウィズコロナの名無しさん2023/06/19(月) 09:07:12.48ID:KrK+Uv/P0
ネットに溢れてる情報を人間が指定した方法でデフォルメして作ってるだけだろ
無からオリジナルを創造出来たら凄いけどな
0420ウィズコロナの名無しさん2023/06/19(月) 09:10:04.41ID:FLNTMa9k0
そう、いまのところ単なる自然言語型検索エンジン
>>419
それは人間だって同じ事。教育されてるから出来ることだらけ。 人力制作とAI生成の速度差からすれば崩壊は不可避なのでは
0423ウィズコロナの名無しさん2023/06/19(月) 09:50:50.19ID:UX3uS9K80
AIがAIを作るようになったら人類は滅亡するってムスカさんがゆってた
>>423
GANモデルだと今でもAIがAIを作ってるけどな
AIとAIを対決させて成長させていくモデルだから >>402
AlphaGo Zeroなんて人間の棋譜なしで独自戦法を自分で創造していっているのに
未だにこういう事を言う人がいるんだね やれば良いんだよ
もうソースコードを吐き出すAIは在るんだから
AIがAIをつくるソースを吐き出させればいい
簡単な話だろ
進化のメソッドを生み出した時
ノーベル賞がとれるぞ