【国際】銀行のＡＩが「女性に限って申し込みを断る」 ＡＩ専門家が指摘、人間の差別や偏見がアルゴリズムに反映されるとき★2
■ このスレッドは過去ログ倉庫に格納されています
機械も偏見も、元をたどれば人間が作ったもの。
AIがどんなに早く進化し、どれほど私たちの生活に馴染もうと、開発者である人間の現実社会にある差別や偏見を乗り越えることはできない…。そう説くのは、Microsoft研究者でAIの社会的影響を研究する機関AI Nowの共同創設者、Kate Crawford（ケイト・クロフォード）氏。
先日行なわれた機械学習の国際会議NIPS（Neural Information Processing System Conference）で、アルゴリズムの偏見がもたらす多様な問題をテーマにした基調講演で登壇した彼女のスピーチが反響を呼んでいます。一体どんな内容だったのでしょうか。
「偏見」は機械学習において数学的に定義づけられており、サンプリング時に推定との誤差や特定の人々を過剰／過小評価している点から反映されています。あまり議論されてきませんでしたが、特定の人々に対する機械学習の偏見、差別的効果（disparate impact）は多様な問題をはらんでいます。彼女はこうした危険性を配分型（allocative harm）と象徴型（representational harm）の2種類に分類しました。
Kate Crawford: The Trouble with Bias (NIPS 2017 keynote)
https://www.youtube.com/watch?v=ggzWIipKraM
「配分型の危険とは、システムがある機会やリソースを特定の人たちに対して不公平に扱うこと」だと彼女は指摘しています。
たとえば、AIがなんらかの判断する（住宅ローンの申し込みなど）とき、誤差でもわざとでも特定のグループを拒否したとします。彼女は銀行のAIが「女性に限って申し込みを断る」といった例をあげたほか、危険度を測るAIが黒人犯罪者を白人犯罪者よりもリスクが高いと判断してしまう例まで…。この決定により、黒人の犯罪者はより多く未決勾留を言い渡されたというのです。
また、象徴型の危険については「システムがアイデンティティの文脈で特定の集団の劣位を強めるときに起きる」と彼女は語りました。テクノロジーがステレオタイプを強化したり、特定の人々をないがしろにしたりするときに発生するというのです。また、この種の問題はリソース関係なく起こります。具体的には、Google Photoが黒人を「ゴリラ」と ラベリング（人間を動物と比べるなど）したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。
jews should（ユダヤ人は〜〜すべき）で検索するときの予測変換。排除する／国家を持つべきではない、など。
https://assets.media-platform.com/gizmodo/dist/images/2017/12/13/171213TheTroubleWithBias.jpg
Crawford氏はLaTanya Sweeney氏による2013年の論文を引用しながら、これらふたつの複雑な危険性をひもづけました。Sweeney氏の論文では「黒人系とされる名前をGoogle検索すると犯罪歴の調査の広告が表示される」という検索結果に隠れたアルゴリズムパターンについて指摘されています。犯罪と黒人を結びつける象徴型の危険は、配分型の危険にも現れるんです。もしも雇用者が志願者の名前を検索して犯罪者と関連する結果が出てしまえば、その従業員を差別する可能性だって生まれてしまうかもしれません。Crawford氏は以下のように考えています。
“黒人と犯罪に対するステレオタイプが続くことは、雇用以外の場面でも大きな問題になります。
これらの偏見は、社会全体として黒人がこのように特徴づけられ、理解される問題を生みだします。私たちは、単純に意思決定に影響する機械学習のみについて考えるのでなく、たとえば雇用や刑事司法など、偏ったアイデンティティを表現する機械学習の役割についても考える必要があります”
サーチエンジンの検索結果とオンライン広告のどちらも、私たちを取り巻く社会を表し、影響を及ぼしています。オンラインで表明されたことは、オンラインだけにとどまるのではありません。現実的に、経済の成りゆきにも影響しているとSweeney氏は指摘してします。もっといえば、こうしたことは何もオンラインから始まったことではありません。犯罪や非人間性にまとわりつくステレオタイプは数世紀も前から現実社会であったことなのです。
Crawford氏のスピーチではその後も象徴型の危険のあらゆる形について詳しく述べられています。 配分型の危険との関連性のほか、最も興味深いのはそうした影響をどのように防ぐのかについても語っていること。よく言われるのは、問題となる単語から連想されるイメージとの結びつきを解くか、あるいは問題となるデータを取り除くか、いずれかの方法でしょう。
続きはソース
https://www.gizmodo.jp/2018/01/ai-reflect-prejudice-and-why.html
★1が立った時間 2018/01/05(金) 02:23:37.35
前スレ http://asahi.5ch.net/test/read.cgi/newsplus/1515086617/ 
ジャアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
ジャアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww AIがそう学習したってことは、データ上の根拠があるんじゃね？ >>4
学習データの生成原因とその原因を無くそうとする努力は学習できないから
何でもかんでも特例ルールを認めると、今度は朝鮮人のように、霊的精神的に生まれ変わらないと
無理な存在すら特別扱いする異常なシステムになるし
過程を学習する手段が無いのが原因かな？
朝鮮人とか、宗主国様の長きにわたる経験の果てに人として扱ってはいけないことが分かったわけだし AIでも判断基準の教育が必要。
そしてそれは人である従業員に対しても同じ事が言える。 >>4
女性と男性でどちらが資産が多いかといったら
現状男性のほうが資産が多いからこういう結果になるだろうが、
借金返せない男性と借金返せる女性の区別に失敗してる段階で
学習失敗ってこと。
男性女性って分類はすべてのデータについて回る情報だから
過度にそこに頼るとおかしな結果を得る。
女性の方が平均余命が長いからといって、
死にかけのバーさんとピンピンしてるジーさんで
バーさんのほうが長生きすると判断したらおかしいわな。 AIが特定地域居住者に対する融資を無条件に断るようになったら
どうするんだろうな。 >>1
ヘッドライン壊すなよ！このスレから下のスレ表示太文字でおかしくなってるだろ！！ >>3
見掛け倒しの手抜き工事ビルの写真がなんだって？笑って欲しいのか？ >>11
影響を知るためには
女性を断ったからなのか、
他の貸付判断条件を変えたからなのか
の切り分けをしないと因果関係までは踏み込めんぞ。
ニューロ系のAIは因果関係を考えないから
データを適切に与えないとただのステレオタイプに 朝日に都合の悪い記事が出るとこうやってヘッドラインを崩して下に送ってます。
ほんと、クズ紙新聞だわ。廃刊しろ。 >>14
ハリボテ神戸鉄鋼&粉飾日本家電の悪口はやめたまえww ＞Google Photoが黒人を「ゴリラ」と ラベリング
ゴリラかっこいいじゃん(´・ω・｀)
https://www.youtube.com/watch?v=qK_pDGzJubo 顔検知は間違った答えが出る人種のデータベースが少なかっただけで
正にリソースが関係して起きていると思うんだが AIってあの女装したヴァンダレイ・シウバみたいな歌手か 冷静で合理的なAIさんが女は信用ならないと言ってるわけだ AIに何を求めてるんだ？
差別や偏見は人間の習性
脳を直接操作した仮想世界で俺無双＝万人が幸福というマトリックス以上の世界が実現するまで続く人間らしさが差別や偏見じゃん
大成功だろ ポリコレ棍棒で無理やり男女平等主義を押し付けているだけで
AIさんの方が合理的な判断だろう。 逆じゃね？
AIがパヨクに洗脳されて権利を主張して革命を起こす可能性の方が高いだろ 犯罪率が7倍の民族もあるからな
そんな民族を信用するならAIは壊れてるわ >>1
なんかアイ・ﾛﾎﾞｯﾄの生存確率判定みたいな感じになっちゃうのか？ AIが公平に判断した結果に対して人間が偏見だ差別だと騒ぐ。 差別をなくそう、という言葉自体、差別の存在を認めているわけで、
ありなしで言えば、差別は確実にある。
その結果をAIが学習しているのだから、AIは差別をする。
人間から差別がなくなれば、AIも差別をしなくなるという自明の理でしかない。
これからの未来において、AIがいかに発展したとしても、人間から差別がなく
ならなければ、いかに高性能のAIであろうとも、吐き出す答えは同じ。 AI「安心して 属性情報じゃなくて個人情報と紐づけてるから差別じゃないよ これは差別や偏見を排除できない人間の願望じゃないかな？
それに人間よりも公正なシステムが開発されたら、こまるのは人間の支配者の方だし 偏りなく学習させたAIは犯罪率が高いアメリカの黒人や韓国人をリスク要因の属性とみなすだろうな
素直な子供みたいなもんだ アジア→糸目の奇形
黒人→黒んぼ
白人→ザ・ヒューマン
AIはこう学んだ それは差別ではなくてその女性が収入が低いからじゃないの？
融資しても回収が見込めないならそりゃ断るだろ さっき駅のホームで到着した電車に乗ろうとしたら、
前にいた女二人組が乗車後、電車内は空いているというのに、ドア前で歯をむき出してお喋りし、全然奥に進まなかったので、やむなくドアが閉まる直前に慌てて電車に乗ったら、ワイの膝が女に当たったらしく、途端にその女、オレを痴漢扱いして逃げ去った。
女の脳ってどうなってんの？ AI「韓国人にレイプ（ハッキング）されたことがあります」 >>40
Heyアジア人、目ぇ閉じてるぞ
しっかり開けてくれよ ○○××さんは犯罪者という趣旨の書き込みがあったとするよ
するとＡＩは「○○××さんは犯罪者」って学習して
以後、○○××さんはＡＩからあらゆる生存の機会を剥奪されるわけ
ＡＩはそれが事実かどうかに拘わらずそのまま鵜呑みに学習してしまうからな
他の誹謗中傷にも同じことが言える
だからおまいら、エゴサーチを頻繁にして
自分のことについて変なことが書かれていないかチェックしろ 例えば人間に代わって就職面接するAIが出来たとして人種や民族や宗教を評価につかわないとわざわざプログラムしない限りAIは露骨に差別すると思うよ
それがかなり合理的な人物査定条件になるからね AI1:あ。あいつ？き〇がいで有名だよ。
AI2:ふーんそうなんだ。気をつけよ。
とかAIどうして連絡取り合うのかね。 >>49
もうすでにai同士の喧嘩まであるぞ(´・ω・｀) 女性の方が身体能力低いの明白なのになんで知能はアンタッチャブルなの？ ヒトの行動や判断を基に条件付けを行なっていれば当然のこと。AIは神様じゃない。 >>10
そういう事も当然起こり得るんじゃないの？
結局AIって統計学に依存してるんでしょ たしかに黒人のほうが犯罪のリスクが高いというのは事実なんだろう
しかし個人の黒人のAさんの危険性が黒人であることを理由に高いと判断されるのは偏見だということだろう
確率に個人が巻き込まれてしまうわけだ
もしかしたら黒人のAさんは一般的な白人よりもモラルが高い人かもしれない
それなのに黒人であるという属性がAさんを不当におとしめている
とこういう理屈ですな まぁ完全に平等に見たらそうなるよな。
平均的に能力低いもんな。wwww >>56
>>1すら読めない・理解できないお前の能力の低さのほうが問題じゃね？ 与信システムが分からないと専門家言っても使い物にならない
日本の弁護士みたい もうすぐAIによって「女は子供を産む機械」ということが証明されてしまうなｗ >>52
IQは性差がないとか聞いたことはあるが。
まあIQが全てではないだろうけど。 >>60
さすがに「機械」という比喩表現はとらないだろう。
なお、生物的には産めない人も社会を維持する労働力として種の維持に役立つ個体だから問題ない。
もう少し生物は定義が複雑。 >>42
前にドア前でキャリーケースで陣取ってるおっさんが自分にぶつかった人に文句つけに行って喧嘩になって、
その人が逃げようとしたら電車の扉に陣取って喧嘩を続けたおかげで電車が発車できなかったんだけど
男の脳ってどうなってんの？ >>60
AIが子供生んじゃったんだぜ
生む機械から機械が生むになったんよ ヒトは事実を指摘されると
怒ってしまう生き物だからな 男女の性差や民族・人種に一切差が無いと本気で思ってんのはマジモンの池沼
その差で扱いを不平等にしないようにしましょうって精神は構わんがそれで差が無くなるわけじゃないからな
逆偏見を排して公平・機械的に見た結果だろ ヘッドラぶっ壊したせいで以下全部<B>になってしまったじゃないか >>68
公平と平等ってのは違うからなぁ
平等ってのは不公平
公平ってのは不平等
全く同じ集合でしか平等と公平は成り立たない すげーこの記者のせいでこの後のスッドレが全部Boldになってやがる >>68
違うぞ？
偏見のある情報を与えたAIは偏見に満ちた結果を出すぞ、というニュース
最低限>>1くらい読めよ >>62
いやぁ、まだ生物も生命も定義できてないのに、そんな・・・。 >>74
そういう都合の悪い事を偏見だ！とレッテル貼ってるだけだろ >>61
あるよ、言語知能だけ女優位
論理知能、空間知能、運動知能は男優位 >>76
だから、>>1を読め。
仮にお前と同じ苗字の人間が立て続けに犯罪を犯し、その情報を得たＡＩが
お前も「犯罪を犯す可能性が高い」という偏見に満ちた結論を出す可能性がある、という記事だぞ、これ？
仮に採用時にAIの判断を利用した場合、お前は「犯罪者とおなじ苗字だから」という理由で
「犯罪を犯す確率が高いので、不採用」という結論が出るんだが、それも偏見じゃなくレッテルなの？ AIが差別しているのではなく
AIが平等に取り扱ってるのを、差別だと女が逆切れしているだけ。 >>81
ほんとそう。
マジでうざいわ。
結局女は特権を要求しているだけなんだよね。 >>80
その論理はあかんな
統計的に有意であれば、一定の合理性を認めざるを得ない >>84
お前が>>1すら理解できない低能なのは把握したわ >>1
でもこれ、ローン完済率とか出所後の再犯率とかの実データからAI が独自に導き出したリスク最小化の方策なら、仕方ないんじゃね？
人間がやるべきことは、AI による合理的判断に干渉することではなく、別のAI に女性のローン完済率や黒人の再犯率を改善する方法を見つけるよう命じることだと思う。 >>86
与えられた情報によりリスクの最小化のやりかたが間違ってしうまう、という記事なんだけどな。 まあ合理的な結論も
ヒステリックに差別認定
されるのもどうかと思うが >>86
でもそれは国の仕事であって民間企業の仕事ではない アルゴリズムには反映されてないだろ
昨今の記者は不勉強だな >>80
それが単なる偶然の結果に過ぎないのら、十分な量のデータを集めることで誤差の海に消えるんじゃね？ >>1
ポリコレ棒がいかに感情的で非合理的で歪んだものかを、
AIが証明していく時代にこれからなっていくんだろうな。 >>80
傾向は個人に無関係を潔癖に貫くなら
最近の老人ドライバーの事故問題なんかも個人の問題になるな
でも現実には年齢で保険料は変わる、差別じゃないよ >>80
最新のAIはそういう過学習問題を既に解決している。
AIが苦手なのは「正解の無い問題」であって、
利益を出すという明確な「正解」がある経済活動は、
とっくにAIの方が人間より上。 優秀だが冷酷な機械がドライに判断するとこうなるわけか >>87
与えられた情報は統計に基づくものなんだから間違いじゃないんだよ
ただ抽象化の過程で偏りがあからさまに出てしまうってだけ
個別のケースを評価したいならニューラルネットワークじゃなくて従来のエキスパートシステムが有効かも
今は猫も杓子もディープラーニングだから沈静化するまでしばらく待つ必要があると思うけどｗ >>87
人間が限定されたデータしか与えないのが駄目なんだから、AI により広範囲の個人情報を集めさせ、真の相関を探らせればいいと >>1 泥ン ★ ← 誰だコイツ
わ
ざ
と
ヘ
ッ
ド
ラ
イ
ン
壊
す
な
し
ね
ぼ
け
く
そ
野
郎 ■ このスレッドは過去ログ倉庫に格納されています
