【技術】 後藤 弘茂氏「第3世代のディープラーニングプロセッサはモデル圧縮技術が鍵」 [ですとろん★]
■ このスレッドは過去ログ倉庫に格納されています
後藤 弘茂 (Hiroshige Goto)2020年7月17日 06:55
ディープラーニングプロセッサは、まだ進化の途上にあり、人類進化にたとえるなら、現在は猿人から原人に進化したばかりの段階にある。ホモサピエンスレベルへの進化には、まだワンステップ以上が必要となる。
2018年のプロセッサ学会「Hot Chips」のチュートリアルで、MIT(Massachusetts Institute of Technology)のSong Han氏(Assistant Professor, MIT EECS)は、ディープラーニングプロセッサの進化のスライドを示した。Han氏は、元スタンフォード大学でNVIDIAなどと共同で行なった「Deep Compression」の研究の中心人物だった。
以下ソース
https://pc.watch.impress.co.jp/docs/column/kaigai/1265701.html そういえば石川遼って英語のCMですら見なくなったな つまり不要な探査ルートの切り捨て精度が上がらないとダメってことか 単純にディープラーニングは最適化の余地がまだまだあるよって話っぽい
今１０００のデータと１億回の計算で出している結果は
１００のデータと１００万回の計算で出せるはず
みたいな話でディープラーニングで新しい事が出来るって話じゃないっぽい >>4
クズは切り捨ててしまった方が世の中はシンプルで美しい 今食いつけば 日本の半導体メーカーも復活できるかも？ 圧縮、伸長、暗号化支援、ハッシュ計算、TCAM、SIMD
コプロセッサならこれぐらいは欲しいな ソフトがな、日本はついていけない。かつ、ソフトはハードを選ぶ。 fugaku-berry piを1万円で発売！とかすればあるいは 人工知能研究は1960年頃から行われていたが、長らく冬の時代が続いていた。
2006年にジェフリー・ヒントンによって積層自己符号化器（スタックトオートエンコーダ）など多層にネットワークを積み重ねる手法が提唱され、さらに2012年には物体の認識率を競うILSVRCにおいてジェフリー・ヒントン率いるトロント大学のチームがディープラーニングによって従来の手法（エラー率26%）に比べてエラー率17%と実に10%もの劇的な進歩を遂げたことが機械学習の研究者らに衝撃を与えた。
その後もILSVRCでは毎年上位はディープラーニングを使ったチームが占めるようになり、エラー率は2014年時点で5%程度にまで改善した[9]。
ディープラーニング（深層学習）の登場と2010年代以降のビッグデータの登場により、一過性の流行を超えて社会に浸透して行った。
今日のディープラーニングにつながる世界的に最も先駆的研究として、日本の福島邦彦（NHK放送技術研究所、その後大阪大学基礎工学部生物工学科）によって1979年に発表されたネオコグニトロン[10][11]が挙げられる[12][13]。
ネオコグニトロンには自己組織化機能があり、自ら学習することによってパターン認識能力を獲得（概念の形成）していく。応用例として、福島らは手書き文字データベース（ビッグデータ）から自己学習によって手書き文字認識能力（各文字の概念）が獲得されることを実証した。
しかし、当時は「手書き文字認識方式の一つ」と誤解され、その重要性についての認識が世間に広がらなかった。 社内Zoom会議について日本企業がコンサルに「部長や役員を大きく表示してほしい」や「部長や役員を上座に表示できませんか？」と尋ねた話
http://ksidcp.nursph.org/sx/aqidfjv8br42/407dskhtbrd.html
男性は知らない。すべての女性がやっていることを。
http://ksidcp.nursph.org/hy/yer878clu/i64c4e2h 0 9 0-0=- 福島邦彦とジェフリーヒントンの功績はノーベル賞受賞に値する PFLOPSの演算器を動かしても虫の視神経にすら追いついていないのが現実 2018年のプロセッサ学会「Hot Chips」のチュートリアルで、MIT(Massachusetts Institute of Technology)のSong Han氏(Assistant Professor, MIT EECS)は、ディープラーニングプロセッサの進化のスライドを示した。Han氏は、元スタンフォード大学でNVIDIAなどと共同で行なった「Deep Compression」の研究の中心人物だった。
Song Han氏
http://imgur.com/n3dslSn.jpg
中華系アメリカ人？ 韓国系アメリカ人？ 元記事読んだけど、すでに実用化された当たり前のことしか言ってないように思える
そもそもモデル圧縮なんて、組み込み領域では日常茶飯事だろ
大規模モデルには固有の問題があるのかもしれないが そもそもスレタイがおかしい
確かに後藤さんの連載記事だけど、この内容を話したのはMITの研究者だろ なんかよく分からないけどそういう技術が必要になるって
AIじゃなくてまたアルゴリズムの世界に戻ってる感じがするんだけど
どうなん？ >>37
AIを動かすのに必要なアルゴリズムだろ？
AIでAIを超える知能は生み出せてないんだから発展させるのに人の力が必要なのは当然 ごく当たり前の事しか言ってないだろ。
というか、何だよこの中国人だか朝鮮人だかの研究者も。
AI研究者って過去の計算機科学が通ってきた道をもったいぶって説明してるような所があるからね。
モンテカルロシミュレーションの計算効率向上のテクニックと似たようなもんだろ、これも。 アメリカとカナダのコンピュータと数学分野はほぼほぼ中国だぞ
ここ20年の数学オリンピック代表の写真見るとわかる >>8
この記事はモデルの圧縮の話で、少ないデータで学習するとか言うのはよく聞くけど別の話題 >>3
「（英語なので）なに言ってるか分からないので野次られても平気だった」
これを言ってしまったからなぁw プロセッサは原人かも知れないがソフトはネズミのままだったりして とヒキコモリの>>10がありがたいことを仰ってます >>35
おまえな、くだらんことを噛み付くな
元記事の見出しそのままだろうが
何もおかしくねーよ
アホは寝てろや 人間も脳の半分なくなっても平気だったりするからねー BERTが軽量化してALBERTになったのも
モデル圧縮技術だな
ベクトルの素因数分解トリック ■ このスレッドは過去ログ倉庫に格納されています
