Oligur

• ニュース

2020年モデルのiPhone SEは、ハードウェアではなくソフトウェア技術のみでポートレートモード写真を作成できる初のApple製スマートフォンです。これは、これまでのiOSデバイス、そしてあなたが思っているiPhone SEでさえも実現していません。

Halide の製造元である Lux Optics は、Apple の新しい低価格携帯電話がどのようにして 2D 写真にボケ効果を加えるのかを研究しました。

正確に言うと、Appleは被写体にピントが合っているものの、背景がぼやけた写真をポートレート画像と呼んでいます。専門家の間では、これをボケ効果とも呼んでいます。

iPhone SEはソフトウェアだけで3Dボケ画像を実現

開発者のベン・サンドフスキー氏がLux Opticsのブログ記事で述べたところによると、iPhone SEはポートレートモードの画像を作成する際に、単眼深度推定（Single Image Monocular Depth Estimation）を使用しているとのことです。これは、スマートフォンがどの物体が近くてどの物体が遠いかを単純に推測しているという、かなり高度な言い方です。

そのため、Appleはボケ効果を人間だけに限定しています。iOS端末はソフトウェアを使って前景にある物体を判断しますが、人間の形状だけであれば、人間の形状も把握できるので、ボケ効果の適用が容易になります。

ペットにポートレートモード効果を適用できるアプリはいくつかあります。Lux OpticsのHalideもその一つです。しかし、Sandofsky氏がブログ記事で指摘しているように、このアプリでは奇妙な効果が生じることがあります。

奇妙にぼやけた画像は、単眼深度推定（SIM）の奇妙な副作用の一つに過ぎません。モニターに表示された画像を3Dポートレートモードで撮影することもできます。

デュアルレンズカメラの終わりではない

iPhone 11シリーズはボケ効果を生み出すために2つのカメラレンズを使用していますが、iPhone SEは1つのレンズで実現しています。しかし、サンドフスキー氏は、シングルレンズカメラがマルチレンズカメラに取って代わるとは考えていません。

iPhone SEのポートレートモードは、奥行き情報を推測する必要があるため、機能が制限されています。デュアルレンズカメラは、立体視によって奥行き情報を取得しています。「人間が2つの目を進化させたのには理由があります」とサンドフスキー氏は指摘します。

iPhone XRは違ったやり方をした

これを読んでいる人の中には、iPhone XR もシングルレンズながらボケ効果を適用できたのに、なぜ 2020 年の iPhone SE が、ソフトウェアを使って 2D 画像から 3D 画像を作成する Apple 初のデバイスと呼ばれているのか疑問に思っている人もいるでしょう。

しかし、サンドフスキー氏が以前のLux Opticsのブログ記事で指摘したように、XRはカメラのフォーカスピクセルを使って大まかな奥行きの推定を行っていました。つまり、この端末はボケ画像を作成するためにハードウェアとソフトウェアの両方を採用したのです。

新しいiPhone SEはiPhone 8と同じカメラを搭載していますが、このトリックは使えません。そのため、ソフトウェアのみで実現しています。