【国際】銀行のＡＩが「女性に限って申し込みを断る」 ＡＩ専門家が指摘、人間の差別や偏見がアルゴリズムに反映されるとき
レス数が1000を超えています。これ以上書き込みはできません。
https://assets.media-platform.com/gizmodo/dist/images/2017/12/20/searcH_2017_1220-1-w960.jpg
機械も偏見も、元をたどれば人間が作ったもの。
AIがどんなに早く進化し、どれほど私たちの生活に馴染もうと、開発者である人間の現実社会にある差別や偏見を乗り越えることはできない…。そう説くのは、Microsoft研究者でAIの社会的影響を研究する機関AI Nowの共同創設者、Kate Crawford（ケイト・クロフォード）氏。
先日行なわれた機械学習の国際会議NIPS（Neural Information Processing System Conference）で、アルゴリズムの偏見がもたらす多様な問題をテーマにした基調講演で登壇した彼女のスピーチが反響を呼んでいます。一体どんな内容だったのでしょうか。
「偏見」は機械学習において数学的に定義づけられており、サンプリング時に推定との誤差や特定の人々を過剰／過小評価している点から反映されています。あまり議論されてきませんでしたが、特定の人々に対する機械学習の偏見、差別的効果（disparate impact）は多様な問題をはらんでいます。彼女はこうした危険性を配分型（allocative harm）と象徴型（representational harm）の2種類に分類しました。
Kate Crawford: The Trouble with Bias (NIPS 2017 keynote)
https://www.youtube.com/watch?v=ggzWIipKraM
「配分型の危険とは、システムがある機会やリソースを特定の人たちに対して不公平に扱うこと」だと彼女は指摘しています。
たとえば、AIがなんらかの判断する（住宅ローンの申し込みなど）とき、誤差でもわざとでも特定のグループを拒否したとします。彼女は銀行のAIが「女性に限って申し込みを断る」といった例をあげたほか、危険度を測るAIが黒人犯罪者を白人犯罪者よりもリスクが高いと判断してしまう例まで…。この決定により、黒人の犯罪者はより多く未決勾留を言い渡されたというのです。
また、象徴型の危険については「システムがアイデンティティの文脈で特定の集団の劣位を強めるときに起きる」と彼女は語りました。テクノロジーがステレオタイプを強化したり、特定の人々をないがしろにしたりするときに発生するというのです。また、この種の問題はリソース関係なく起こります。具体的には、Google Photoが黒人を「ゴリラ」と ラベリング（人間を動物と比べるなど）したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。
jews should（ユダヤ人は〜〜すべき）で検索するときの予測変換。排除する／国家を持つべきではない、など。
https://assets.media-platform.com/gizmodo/dist/images/2017/12/13/171213TheTroubleWithBias.jpg
Crawford氏はLaTanya Sweeney氏による2013年の論文を引用しながら、これらふたつの複雑な危険性をひもづけました。Sweeney氏の論文では「黒人系とされる名前をGoogle検索すると犯罪歴の調査の広告が表示される」という検索結果に隠れたアルゴリズムパターンについて指摘されています。犯罪と黒人を結びつける象徴型の危険は、配分型の危険にも現れるんです。もしも雇用者が志願者の名前を検索して犯罪者と関連する結果が出てしまえば、その従業員を差別する可能性だって生まれてしまうかもしれません。Crawford氏は以下のように考えています。
“黒人と犯罪に対するステレオタイプが続くことは、雇用以外の場面でも大きな問題になります。
これらの偏見は、社会全体として黒人がこのように特徴づけられ、理解される問題を生みだします。私たちは、単純に意思決定に影響する機械学習のみについて考えるのでなく、たとえば雇用や刑事司法など、偏ったアイデンティティを表現する機械学習の役割についても考える必要があります”
サーチエンジンの検索結果とオンライン広告のどちらも、私たちを取り巻く社会を表し、影響を及ぼしています。オンラインで表明されたことは、オンラインだけにとどまるのではありません。現実的に、経済の成りゆきにも影響しているとSweeney氏は指摘してします。もっといえば、こうしたことは何もオンラインから始まったことではありません。犯罪や非人間性にまとわりつくステレオタイプは数世紀も前から現実社会であったことなのです。
Crawford氏のスピーチではその後も象徴型の危険のあらゆる形について詳しく述べられています。 配分型の危険との関連性のほか、最も興味深いのはそうした影響をどのように防ぐのかについても語っていること。よく言われるのは、問題となる単語から連想されるイメージとの結びつきを解くか、あるいは問題となるデータを取り除くか、いずれかの方法でしょう。
続きはソース
https://www.gizmodo.jp/2018/01/ai-reflect-prejudice-and-why.html グゴーの検索結果も
機械的だ、人為なしと言いながら
思いっきり恣意的に
広告満載のクソサイト出してくるからなｗ >>919
女のヒステリーはAIに通じないからな。
人間の男相手だったら、女は逆切れするか泣くかすればほとんどの要求を無理矢理通せるが
AIに対して泣こうが暴れようが何の効果もない。 >>927
そうそう。
AIが間違った答を出しているのではなく
人間の方が間違った答を期待しているだけだ。 社会的に「良い顔」をしなくちゃいけないとか
AIは無いからな
フェアな判断をしただけだと思う >>1
「偏見」 って何だ？
クロンボがゴリラに似てるとか、アジア人の笑顔がまばたきに見えるとか、女は技術者に向いていないとかか？
上記を否定するほうが偏見 単純な属性と結果をマッチングさせるだけなんだから当然ステレオタイプな回答が出てくる。 >>957
女が向いているか？ではなくて、その個人が向いているか？判断しないといけないが、
属性だけで見ると個人の資質に踏み込まない判断を下すと言うこと。
ある競技の世界チャンピオンが過去日本人から出ていないとして
日本人はその競技に向いていないと判断するだろうが
ある日ぽっと世界チャンピオンが出てきたとしたら、
競技への適正を日本人かどうかで判断するのは不十分だったということだわな。
黒人とゴリラ（似てるではなく、ゴリラと分類する）もそうだが
AIに判断を求める際に与える材料が不適切、
人類かゴリラかの分類は顔写真でするのでは不足ってだけの話。 >>958
君は馬鹿でよくわかってないんだから長文書かないほうがいいよ バランスシートがたまたま女性が悪いんだろ
女性だからって性別で融資きめるかよ 将棋AIはすでに、AIのアルゴリズムの中身がブラックボックス化して
何故こういう着手になったか、AIじゃないとわからない
人間じゃあ全く分からないからな
プログラミングした本人達ですら、もう結果が判らない
AIに人間のプログラマーが良かれと思って改良したアルゴリズムを追加すると
結果が逆に悪くなるという状況にまでなってる
一度AIをインフラとして使うと、元には戻れなくなる危険性があるわなあ
特に金融をAI化するために、大規模なリストラが始まったから
何か不具合があっても、元には戻れないよ >AIがなんらかの判断する（住宅ローンの申し込みなど）とき、誤差でもわざとでも特定のグループを拒否したとします
これ人間でもやると思うけど
融資するに相応しくないと判断したら切るのが普通じゃないの
妻子持ちで会社でも中堅クラスのサラリーマンと無職のシンママを同列に扱うの AIなんてそれぞれ独自のアルゴで組まれてるからまじぶっ飛んだAIもいるからな >>959
それは、所詮無理な話
個人の特性を正確に見極めるなど不可能 まーた馬鹿フェミサヨがくだらないことをやってるのか
この自称ＡＩ専門家とやらはAIの判定が男側に不利に働くケースがあってもそれは完全に無視するんだろ
いつもの糞フェミ 相手にする必要無し 今の銀行AIなんてサンプルと同じ振る舞いをするロボを作ってるだけだから
その辺の一般人より人道的な行動なんかできるわけがない
最近の囲碁AIみたくルールだけ教えてゼロから考えさせれば
AIには股間付いてないから別の結果が出るかもしれないけどね AIは差別しない。
与えられたプログラムを忠実に実行するだけ。
差別と感じるのは人間の方。
男女の特徴や向き不向きを徹底的に篩にかければ、
男女で差ができるのは当たり前。 むしろ偏見や差別がないAIが弾いたってのが大きんじゃないの
いい加減認めたら？ ビッグデータに基づいてロジカルに判断した結果女性の方が多く排除されたってんなら
それはもうAIのせいじゃなくて政治の領域だろう
女のほうが年収高い国なんてまずねーんだし 口座の中身とか収入から判断しただけじゃないの？
銀行だって営業はするが慈善事業じゃないんだから 公務員改革も出来ないオスだと、AIの導入すら出来ないのでは？ 女性の年収と預金残高、口座の使用状況をAIが計算した結果
（住宅）ローンの申し込みの拒否だろなあ
年収と残高が低すぎるんだよ、
使用状況がキャッシングを繰り返して
残高マイナスになってることが多い奴には、
人間の銀行員でも当然ローンを許可しないだろ
そういうのが女性には現状で多いってことだろ 収入の安定性の問題じゃないの？
なんでも差別とかいっても仕方がない
違いがあって当たり前
社会としてそれにどう対応するかを考えないとね
平等というのはそれぞれに違いがないということではなく
社会の扱いが平等に優しくするという意味
元は神の前の平等
神の恩寵が等しく与えられるということからきている ではその女性が返済出来なくなるプロセスまで詳細に
シミュレートし女性側の対策まで出来なければ本当のAIでは無いな >>981
実際貸し出すのは銀行だから破産リスク少ない奴にしか貸したくないし
警察や裁判所も再犯しにくい奴らしか仮釈放したくないだろうな
逆に文句言う奴がそういうリスクある奴らの保証を買ってでれば解決するだろ
まあまず無理だろう
AIは統計から機械的に出してるだけだから高リスクはかわらない >>984
そういう話じゃなくてAIが人間で優れた人より劣った判断をするという話だろ
脳が劣った人には黒人がゴリラに見えてるかも知れんが
黒人は黒人、ゴリラはゴリラやで その前に、何をもって女性と判断するかが問題になると思う 傾向をプログラムすると差別になるわけか
とても中身は見せられないな シナチョンは無論、クロンボ、イエローモンキーにも融資なしですか、そうですか。 >>959
> 人類かゴリラかの分類は顔写真でするのでは不足ってだけの話。
単に自分の理想の結果が出なかったからインプット情報が悪いと逆ギレしてるようにしか見えないんですが…
お前みたいなのが神社で大吉が出るまでおみくじを引き続けるタイプなんだろうなｗ ブライドテストして結果としてそうクラスタリングされたら
まんさんは統計的にそういう価値しかないってことだろ
結果論 このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 1日 11時間 4分 0秒 5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php レス数が1000を超えています。これ以上書き込みはできません。
