Modern Device Gutter

わたしは北海道に住むmizoreと申します。機械と機械と機械が好きです。

Microsoft PixというAppleもびっくりするアプリ

Microsoft Pixというアプリをご存知でしょうか。iPhoneのカメラアプリを使うと逆に画像が悲しくなってしまうという方に必見です!Microsoft Pix は、マイクロソフト傘下の独立研究機関 Microsoft Research が iPhone 向けに無料提供中のカメラアプリ。マイクロソフト製なのにiPhone 屈指のカメラのためのアプリにも選ばれる Microsoft Pix が、新たに「動画のコミック化」「パノラマ撮影」対応にアップデートした訳です。ふわっとシャッターボタンをタップするだけでベストなシャッターチャンスで撮ることが可能になり、被写体に寄り添ってちょうど良い感じに調整してくれる忖度な機能が素敵です。

f:id:mizorechang:20180104221020p:plain

今回新たにドロップしたパノラマカメラは、マイクロソフトが2008年からアプリやウェブで提供していた写真合成サービス Photosynth の技術です。iPhone の標準パノラマ撮影では端末を縦か横かどちらかにスライドすることで長尺のパノラマを撮影しますが、Microsoft Pix のパノラマでは上下左右に自由自在に動かすことで、連続で取り込んだデータに色素補正や露出補正、ステッチを噛ませ、上下左右に広い超広角写真が得られます。まさにカメラ界の清原です。マイクロソフト曰く、ステッチと同時に適用する画像処理でパノラマ写真自体の画質が素晴らしい点もセールスポイント。
iPhoneを上下左右に動かして超広角の一枚を作成したり、動画からハイライトを検出して3ショットのコミック風にするなど、多才なAIカメラアプリがさらに芸風を広げちゃっています。基本はシンプル・ザ・ベストを提唱していますが、これまでマイクロソフト・リサーチがさまざまな形でフューチャーしてきたAI人工知能や画像処理のアプリを結合させた多機能ツールとしてのファクターもあります。たとえばブレた失敗写真が少ないのは、アプリを開いた瞬間からカメラデータをバッファして、シャッターボタンが押される直前直後も画像解析してベストショットを選ぶ仕組み。このとき場面に動きを認識すると、通常の写真に加えて髪が風にそよぐポートレート写真や、川が流れる風景写真など、静止画に動きを足したループ動画 Live Image も同時に自動で出力します。
動画を撮ったあとは、手ぶれ補正やタイムラプス効果も選択可能。これは Hyperlapse で提供されてきたスキルです。またプリントを検出すれば、書類の部分だけ切り出して歪み補正や色補正を施し、スキャナで取り込んだようなピクチャーも自動で保存してくれます。こちらは単体の Office Lens アプリとしても提供中。もうひとつの Pix Comix は、動画から3枚のハイライトを選び出し、3コマ漫画風の一枚を出力する機能。数種類からセリフを選んで、自分でテキストを編集して掲載することもできます。この Comix 機能は Photosynth と同様、すでに撮影した動画にもアップ可能です。

f:id:mizorechang:20180104221130j:plain

インターフェースがシンプルすぎてここまで強力なツールが詰まっているようには見えませんが、起動して右上にある「田」ボタンで(田んぼではありません)iPhoneの写真・動画一覧を呼び出して、そこからフィルタの適用や編集が選べます。他のアプリやカメラで撮った動画を単にブレ補正したいだけでも便利なのです。
ところで、Google も新技術をアプリとして配布する実験 Appsperiments と称して、動画をコミック風にする Storyboardアプリを提供していました。Storyboard はフキダシ追加の機能こそないものの、画像自体もフィルタで線画風やカラーイラスト風にしてくれます。実は Microsoft Pix にも、また別の機能として画風変更フィルタを兼ね備えています。こちらは少し前に流行った、油絵風や点描風、有名絵画風のスタイルを機械学習で抽出して写真にフォーカスする技術。フィルタで写真が前衛絵画のようになる様子をGIF出力までしてくれます。Microsoft Pix は iOS 向けに Apps Store で無料配信中。