https://www.gizmodo.jp/2020/06/perfectly-depixelate-faces.html
https://assets.media-platform.com/gizmodo/dist/images/2020/06/18/%E9%A1%94%E3%83%A2%E3%82%B6%E3%82%A4%E3%82%AF-w1280.jpg
見えていいものと、悪いものがある…。
SNSで一番大事なのはプライバシーの保護ですから、シェアされる画像や動画に映りこむ人の顔を隠すのは、もはや常識です。
ところが、デューク大学の研究者が、モザイク処理で隠された顔をほぼ完全に復元できる新しいツールを開発してしまいました。
究極の画像処理ツールがあるとすれば、そのひとつはディテールや鮮明さを失わず、｢いかにも人工的｣っぽい感じも出さずに、
デジタル画像の解像度を高めることができるツールになるでしょう。
今はスマートフォンでも20メガピクセルをはるかに超える画像が撮れる時代。
振り返ればデジカメの誕生以来、膨大な数のデジタル画像のアーカイブが蓄積されてきました。
とはいえ当時のデジカメは何千ドルもする高級品で、画質や解像度も今と比べるとずいぶん粗かったのですが。
今やTVやモバイルデバイス画面のピクセル数は8Kを超え、画像を効果的にスケールアップできるツールのニーズが高まっています。
■通常、解像度を上げると｢いかにも人工的に｣になりがち
画像の解像度を上げるための一般的なアプローチは、低解像度の画像では表現しきれないディテールやピクセルをインテリジェントなアルゴリズムで予測、補強し、
高解像度バージョンを人工的に生成していきます。
しかし、解像度の低い画像ではかなりのディテールが欠落している場合があるので、解像度を上げる作業の結果、ぼんやりのっぺりした外観になりがちです。
そんなデメリットを解消すべく、デューク大学の研究者チームは”Pulse（Photo Upsampling via Latent Space Exploration）”というまったく新しいAIツールを開発しました。
https://assets.media-platform.com/gizmodo/dist/images/2020/06/18/%E9%A1%94%E3%83%A2%E3%82%B6%E3%82%A4%E3%82%AF2-w1280.jpg
デューク大学のPulseチームによる実験。上段が元画像、中段が解像度を落としたもの、下段がPulseで再度解像度を上げた画像。
■PulseはAIの｢想像｣で画像を高解像度化する。
実は、Pulseというのは｢画質の低い画像の解像度を上げ、真実の姿に近づける｣という処理をするツールではありません。
データから特徴を学習し、存在しないデータを生成する｢敵対的ネットワーク｣をもとにしたAIを使い、本物っぽい顔をランダムに作り出すものなのです。
以前にも、｢実在しないけど、実在しそうな顔が何千種類も生成されるツール｣という動画をご紹介しましたが、Pulseはそれとも少し違います。
AIがオリジナル画像をもとに生成した高解像度画像の中から、｢低解像度化した時にオリジナルもっとも近い画像を探し出す｣のです。
しかもちょっとずつ手を加えて微調整し、さらに元画像に近づけてくれるんです。
結果的に、低解像度同士を比べるとそっくり、という画像ができあがるのです。
10年前には、こんな機能はありませんでしたし、アプローチとしてはちょっと邪道っぽい感じもします。
でも、ディープフェイク動画が最近とてもリアルで巧妙になっていることを考えると、まったく新しいアングルで既存の問題と闘うことも必要でしょう。
それこそまさに、科学者の力。
■今見えない、あらゆる画像が見えるようになるかも
Pulseが生成する画像は、まだ完全ではありません。オリジナル写真の高解像度版と、Pulseがオリジナル写真をもとに作った高解像度画像を比較すると、
やはり明らかな違いがあります（上の写真参照）。
ですので、現状このツールの使用は制限されています。
でもツールがもっと改良されれば、今はまだぼんやりとしか見えない宇宙の秘密の解き明かしたり、原子のような極小世界も解明できるようになるかもしれないと、
さまざまな分野での応用が期待されています。
ただ、これが一般ユーザに普及すると、あんなものやこんなものまで、モザイク処理が外されちゃうことになるので、ちょっと危険かもですね…。
https://assets.media-platform.com/gizmodo/dist/images/2020/06/18/%E9%A1%94%E3%83%A2%E3%82%B6%E3%82%A4%E3%82%AF-w1280.jpg
見えていいものと、悪いものがある…。
SNSで一番大事なのはプライバシーの保護ですから、シェアされる画像や動画に映りこむ人の顔を隠すのは、もはや常識です。
ところが、デューク大学の研究者が、モザイク処理で隠された顔をほぼ完全に復元できる新しいツールを開発してしまいました。
究極の画像処理ツールがあるとすれば、そのひとつはディテールや鮮明さを失わず、｢いかにも人工的｣っぽい感じも出さずに、
デジタル画像の解像度を高めることができるツールになるでしょう。
今はスマートフォンでも20メガピクセルをはるかに超える画像が撮れる時代。
振り返ればデジカメの誕生以来、膨大な数のデジタル画像のアーカイブが蓄積されてきました。
とはいえ当時のデジカメは何千ドルもする高級品で、画質や解像度も今と比べるとずいぶん粗かったのですが。
今やTVやモバイルデバイス画面のピクセル数は8Kを超え、画像を効果的にスケールアップできるツールのニーズが高まっています。
■通常、解像度を上げると｢いかにも人工的に｣になりがち
画像の解像度を上げるための一般的なアプローチは、低解像度の画像では表現しきれないディテールやピクセルをインテリジェントなアルゴリズムで予測、補強し、
高解像度バージョンを人工的に生成していきます。
しかし、解像度の低い画像ではかなりのディテールが欠落している場合があるので、解像度を上げる作業の結果、ぼんやりのっぺりした外観になりがちです。
そんなデメリットを解消すべく、デューク大学の研究者チームは”Pulse（Photo Upsampling via Latent Space Exploration）”というまったく新しいAIツールを開発しました。
https://assets.media-platform.com/gizmodo/dist/images/2020/06/18/%E9%A1%94%E3%83%A2%E3%82%B6%E3%82%A4%E3%82%AF2-w1280.jpg
デューク大学のPulseチームによる実験。上段が元画像、中段が解像度を落としたもの、下段がPulseで再度解像度を上げた画像。
■PulseはAIの｢想像｣で画像を高解像度化する。
実は、Pulseというのは｢画質の低い画像の解像度を上げ、真実の姿に近づける｣という処理をするツールではありません。
データから特徴を学習し、存在しないデータを生成する｢敵対的ネットワーク｣をもとにしたAIを使い、本物っぽい顔をランダムに作り出すものなのです。
以前にも、｢実在しないけど、実在しそうな顔が何千種類も生成されるツール｣という動画をご紹介しましたが、Pulseはそれとも少し違います。
AIがオリジナル画像をもとに生成した高解像度画像の中から、｢低解像度化した時にオリジナルもっとも近い画像を探し出す｣のです。
しかもちょっとずつ手を加えて微調整し、さらに元画像に近づけてくれるんです。
結果的に、低解像度同士を比べるとそっくり、という画像ができあがるのです。
10年前には、こんな機能はありませんでしたし、アプローチとしてはちょっと邪道っぽい感じもします。
でも、ディープフェイク動画が最近とてもリアルで巧妙になっていることを考えると、まったく新しいアングルで既存の問題と闘うことも必要でしょう。
それこそまさに、科学者の力。
■今見えない、あらゆる画像が見えるようになるかも
Pulseが生成する画像は、まだ完全ではありません。オリジナル写真の高解像度版と、Pulseがオリジナル写真をもとに作った高解像度画像を比較すると、
やはり明らかな違いがあります（上の写真参照）。
ですので、現状このツールの使用は制限されています。
でもツールがもっと改良されれば、今はまだぼんやりとしか見えない宇宙の秘密の解き明かしたり、原子のような極小世界も解明できるようになるかもしれないと、
さまざまな分野での応用が期待されています。
ただ、これが一般ユーザに普及すると、あんなものやこんなものまで、モザイク処理が外されちゃうことになるので、ちょっと危険かもですね…。