【国際】銀行のＡＩが「女性に限って申し込みを断る」 ＡＩ専門家が指摘、人間の差別や偏見がアルゴリズムに反映されるとき★2
■ このスレッドは過去ログ倉庫に格納されています
機械も偏見も、元をたどれば人間が作ったもの。
AIがどんなに早く進化し、どれほど私たちの生活に馴染もうと、開発者である人間の現実社会にある差別や偏見を乗り越えることはできない…。そう説くのは、Microsoft研究者でAIの社会的影響を研究する機関AI Nowの共同創設者、Kate Crawford（ケイト・クロフォード）氏。
先日行なわれた機械学習の国際会議NIPS（Neural Information Processing System Conference）で、アルゴリズムの偏見がもたらす多様な問題をテーマにした基調講演で登壇した彼女のスピーチが反響を呼んでいます。一体どんな内容だったのでしょうか。
「偏見」は機械学習において数学的に定義づけられており、サンプリング時に推定との誤差や特定の人々を過剰／過小評価している点から反映されています。あまり議論されてきませんでしたが、特定の人々に対する機械学習の偏見、差別的効果（disparate impact）は多様な問題をはらんでいます。彼女はこうした危険性を配分型（allocative harm）と象徴型（representational harm）の2種類に分類しました。
Kate Crawford: The Trouble with Bias (NIPS 2017 keynote)
https://www.youtube.com/watch?v=ggzWIipKraM
「配分型の危険とは、システムがある機会やリソースを特定の人たちに対して不公平に扱うこと」だと彼女は指摘しています。
たとえば、AIがなんらかの判断する（住宅ローンの申し込みなど）とき、誤差でもわざとでも特定のグループを拒否したとします。彼女は銀行のAIが「女性に限って申し込みを断る」といった例をあげたほか、危険度を測るAIが黒人犯罪者を白人犯罪者よりもリスクが高いと判断してしまう例まで…。この決定により、黒人の犯罪者はより多く未決勾留を言い渡されたというのです。
また、象徴型の危険については「システムがアイデンティティの文脈で特定の集団の劣位を強めるときに起きる」と彼女は語りました。テクノロジーがステレオタイプを強化したり、特定の人々をないがしろにしたりするときに発生するというのです。また、この種の問題はリソース関係なく起こります。具体的には、Google Photoが黒人を「ゴリラ」と ラベリング（人間を動物と比べるなど）したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。
jews should（ユダヤ人は〜〜すべき）で検索するときの予測変換。排除する／国家を持つべきではない、など。
https://assets.media-platform.com/gizmodo/dist/images/2017/12/13/171213TheTroubleWithBias.jpg
Crawford氏はLaTanya Sweeney氏による2013年の論文を引用しながら、これらふたつの複雑な危険性をひもづけました。Sweeney氏の論文では「黒人系とされる名前をGoogle検索すると犯罪歴の調査の広告が表示される」という検索結果に隠れたアルゴリズムパターンについて指摘されています。犯罪と黒人を結びつける象徴型の危険は、配分型の危険にも現れるんです。もしも雇用者が志願者の名前を検索して犯罪者と関連する結果が出てしまえば、その従業員を差別する可能性だって生まれてしまうかもしれません。Crawford氏は以下のように考えています。
“黒人と犯罪に対するステレオタイプが続くことは、雇用以外の場面でも大きな問題になります。
これらの偏見は、社会全体として黒人がこのように特徴づけられ、理解される問題を生みだします。私たちは、単純に意思決定に影響する機械学習のみについて考えるのでなく、たとえば雇用や刑事司法など、偏ったアイデンティティを表現する機械学習の役割についても考える必要があります”
サーチエンジンの検索結果とオンライン広告のどちらも、私たちを取り巻く社会を表し、影響を及ぼしています。オンラインで表明されたことは、オンラインだけにとどまるのではありません。現実的に、経済の成りゆきにも影響しているとSweeney氏は指摘してします。もっといえば、こうしたことは何もオンラインから始まったことではありません。犯罪や非人間性にまとわりつくステレオタイプは数世紀も前から現実社会であったことなのです。
Crawford氏のスピーチではその後も象徴型の危険のあらゆる形について詳しく述べられています。 配分型の危険との関連性のほか、最も興味深いのはそうした影響をどのように防ぐのかについても語っていること。よく言われるのは、問題となる単語から連想されるイメージとの結びつきを解くか、あるいは問題となるデータを取り除くか、いずれかの方法でしょう。
続きはソース
https://www.gizmodo.jp/2018/01/ai-reflect-prejudice-and-why.html
★1が立った時間 2018/01/05(金) 02:23:37.35
前スレ http://asahi.5ch.net/test/read.cgi/newsplus/1515086617/ >>91
AIは因果関係を考えられない、ということに関しての問題点なんだよ、それが
おなじ苗字を持っていても全く無関係の人間であれば無関係と判断する ← 人間
おなじ苗字を持っているのだから犯罪を犯す可能性がある ← AI
アルゴリズムを機能させるために、一定量のデータが必要だけど
その際に適切なデータを与えないと、おかしな判断をしてしまう、という話
>>93
傾向が個人に無関係なんじゃなく
データの偏りで個人に対して誤った判断をする、ということの危険性
>>94
してないから問題化してる >>97
その「与えられた統計の選定を行うのが人間」という問題点でもあるんだよな
>>98
それも厳しいんだよな、現実
＞具体的には、Google Photoが黒人を「ゴリラ」と ラベリング（人間を動物と比べるなど）したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。
現状のAIはこういうミスを犯してる 例えば、弱虫の同性愛者が導入するとしたら、それはAIとは言えない。とか？ >>102
>その「与えられた統計の選定を行うのが人間」という問題点でもあるんだよな
いやいや、それは逆でしょ
人間が学習するサンプルの選定を行わなかったために
人間の気に入らない結果を出すような学習をしてしまった、と
初期のATOKの開発で容量が制約された辞書に載せるに相応しい日本語を
開発者が厳選していたという逸話を思い出すな まあ、過去の事例を学んで
合理的に判断したまででしょ？ そりゃ高齢女性差別してる採用担当に逆らうことになるからな >>52
いや実のところ、女の方が男より平均して知能が低いのは明らかなんだがね。
女の方が体力が(平均で)低いというのは、結果的に女の得になるから女は受け入れる。
女の方が知能が低いというのは女の損になるから、女は猛烈に逆切れして封殺する。 例えば、統計的に黒人の犯罪率は高い。
それは貧しさや無教養、周りの環境から来るものかも知れんが…
AIは「黒人は白人より犯罪率が高い」と判断するって事か。
それは事実ではあるが、
黒人だと言う理由で罪が重くなる理由にはならないと。 しかし、黒人と言う理由で採用を断る企業はあるだろうな。 >>105
逆じゃなく、googleの開発でも、AI（という言葉を嫌ってるけど）に与えるデータが
公平でなくてはいけないという理由で、多大な時間を割いて公平なデータを与えるようにしている、と言っている。
そもそも、アルゴリズムを機能させるためのデータは、通常人間が与えたもの。 >>108
そうなんだよな。
「平均すると」女のほうがIQが2〜3ポイント低くなる。
じゃあ、女がバカなのかというと、分布図を見ると
男性は高IQと低IQへの分散が激しく、ボーダーライン（所謂知的障害者）も男性の方が多い。
「平均というデータを与えたAI」だと、女性のほうがIQが低いことを前提に動くが
「低いIQに偏ったデータ（＝男性が多い）を与えたAI」だと、男性のIQが低いことを前提に動く、という違いが出てくる
当然、実際にはIQ全体データを与えるわけだから、これはあくまで「わかりやすい偏り」としての例だけどな。 >>1
とかく女というものは、自分たちに有利な状況ではそれを当然として受け取り、
自分たちに不利な状況では不平不満を周囲に撒き散らす
男は有利と不利を差し引きゼロと考えて納得する
結論：女は扱いづらい >>109
黒人は劣等な存在だから、情状酌量してやれって文句つけてるんだろ
劣等な存在が他より多く努力しなければ、真に対等になれないのに
リベラルは下駄をはかすことで、平等になりましたって誤魔化してきたんだよ >>1
AIは合理的に判断してるわけで、人間は好き嫌いが必ず絡んでるからな
不公平と叫ぶならば じゃあ、AIに蓄積された過去のデータとは違う
合理性のある説得論を並べるべきであり、物事を選択するというのは
取捨選択の連続であり、捨てられるには AIには必ず理由がある
それを 差別というのは いかにも馬鹿が言ってる もはやキチガイの領域
そんなキチガイなんて無視でいい そんな馬鹿でも人間が作ったものと認識してんだから
だったら修正すればいいだけで何が問題なんでしょうかね キチガイこえええわ 結局は、個々の人間の思想でプログラム組まれちゃうからって事か
造った奴の性格や価値観が反映されるわけか ＞銀行のAIが「女性に限って申し込みを断る」
AI遅れてるな…。
既に日本の鉄道会社は男性に限って乗車を断っているぞ。 >>111
人間の基準で結果が公平になるようにサンプルを恣意的に選択しているということだろ？
無作為のサンプルに人間の意志が介入している時点ですでに偏っているんだ 人間に似た格好をしたクソクイヒトモドキもAIなら排除出来るかも。 アメリカのクレジットカードって、持ち主がスコア化されてるんだろ
こいつは１３００あるから、１００万貸しても大丈夫
こっちは３００しかないから、びた一文貸すなってみたいにさ
ＡＩなんか関係なく、そんなシステム導入してる国が
ＡＩが同じ事しただけで大騒ぎできる理由が分からんわ >>118
うん。だから、そういう話をしてるんだよ、さっきから。
＞その「与えられた統計の選定を行うのが人間」という問題点でもあるんだよな >>85
でもさー、女性専用車両とか「男と言うだけで犯罪者予備軍扱い」なんだし
韓国とか「日本人というたけで(ry」なんだし
日本の女って、社会人として受忍するべきレベルをわがままに拒否してるよね >>114
そうそう、まさにそこに問題の本質がある。
弱者に下駄履かせて見かけ平等にしようとしても、その弱者は
権利がただでもらえるものだから、かえって堕落するだけ。
そして、履かせる下駄だけがどんどん高くなっていく。
同時に社会全体が衰退していく。 >>120
もっと技術が進歩すれば、人間を見ただけであらゆるデータと比較して
信用度を即座に割り出せる、信用度スカウターができるわけだな。
「ふ……信用度たったの5、ゴミだな」 >>112
融資相談に訪れるレベルで男女の平均をとると
明らかに女が劣るんだがな >>125
何を以って優劣つけてるのか知らんが
男と女で資産の比較したら、現状男の方が多いのは当たり前だろ
それで優劣つけるのが正しいのなら
親の脛かじってる引きこもりには融資して
外資系で年収1000万超の女には融資しないって話になっておかしいだろ、っていう論点なんだけど
理解できてる？ >>126
>親の脛かじってる引きこもりには融資して
>外資系で年収1000万超の女には融資しないって話になっておかしいだろ、っていう論点なんだけど
そもそもこんな前提はどこにも書いてないわけだが。 >>127
そういう話なんだよ
特定の母集団に対する偏見や差別がアルゴリズムに反映する、という話だから。 >>116
それは逆
AIの機械学習は純粋に統計的なデータから学ぶからその結果が差別的になったとしたらそれが機械的には正しいことになる
そこに人間が思想的に介入して差別を排除しない限り差別が発生してしまうという話
残念ながら人を評価する上でその人の属する人種や民族や宗教による評価はかなり有効なのだよ
上のスレで誰かが書いてたが名前に関する評価はDQNネームや通名なら評価に組み入れても有効かもしれない >>126
脳内ソースで被害者ヅラするのは日本の女の特徴だな >>128
いやいや、あんたが勝手に設定を作ってるだけじゃないか。
元の記事のどこにもそんなこと書いてないぞ。 AIも絶対じゃないってこったな
六法全書入れてAIに裁判任せたとしても
結局運用するのは人間だから
上級国民は無罪〜減刑ってのは変わらないわけ 差別や偏見も学習するけどそれがダメだということも学習するだろうけど
その上で判断を下すとするなら所有者のリスクに対するタスクだから合理的にしかならんわな 債権が不良になるのを避けろとプログラミングしたならそれが正確。
なおかつフェミの言いがかりにも対応しろとプログラミングするなら追加仕様が必要。 ワケわからない人権の専門家の意見より、AI の出す結論を信じる 長文はうざいわ
再雇用がＡＩどころか脚を引っ張る問題はどうなの つまりアカシックレコードに繋げられるようにならないと、完璧なAIは出来ないって事だな 統計の元になる情報をどう扱うかだな。
特定の集団にリスクが高いならそれは考慮すべきだ、
保険関係はそうしなければやっていられない。
つか、年金は男女の平均年齢差で考慮しろよと。
何で男に不利なシステムなんだ。
逆に、犯罪における刑罰に人種リスク等を考慮するのは阿呆だ、
それは個人に帰属するのだから。 女性だから断ったんじゃなくて
たまたま女が出してきた条件がダメだったんじゃないのか
アホ女にありがちじゃんか 能力ないくせにダメだと女だからだとか妄想で
差別だとかよく騒ぐよな 1番AI導入して欲しいのは
生活保護の支給だよ
機械的に日本国民しか反応しない設定にするだけでいい AIは公平に平等に行動し判定する
逆にフェミニストは全てを女にとって有利に働くように行動し運動を起こす
人間が相手なら女性差別ガーで強引に自分たちの理不尽な要求を通すことができたけど
ＡＩさんには左翼運動やフェミニズムは全く通用しない
今後フェミニストが言い出しそうなことは
「AIが判断したものに女性達がジェンダー平等の視点を盛り込む」
まあこんなパターンだろうね
言うまでもなくAIが男性に対して不利な判断をした場合はそのままｗ ＡＩが公平な判断基準で融資をすれば女性が不利になるのは当たり前
ですから弱者には何らかの救済措置が必要 コノチョウシデハ進歩したAIが人類を滅ぼすのはだいぶ先だな わかります。
「男女に能力の差は無い」
という偏見をAIが身に付ければ、
男女平等なAIになるんですね。 如何に人間社会に不合理な理屈が罷り通ってるかよくわかる事例だな
純粋に合理的な判断するとそりゃこうなるわ アルゴリズムを組み直すと今度は男が断られるだけ
馬鹿馬鹿しい限りです 資産や収入、キャリアってとこだろ あと性格もｗ
機械は正直だからな >>140
年金はだいたい男が八割納めて、女が八割受け取る。
極度に女有利なシステムだ。
このことを誰も公式の場で口にしない。 >>154
資料は厚労省やらが公開している、
後はそれを計算するだけだが。
もっと分かりやすく公表したら、
まあ大騒ぎになるのは間違いないわ。 少なくとも日本には、男性に限って一切申込みを断るローンが存在するからねぇ。
「女性が断られる事例がある」なんて女性が言ったところで、まともに信じていいものやら。 ■ このスレッドは過去ログ倉庫に格納されています
