ふつうに撮った写真が 2 次元から飛び出す？
マイクロソフトの最新技術 Photosynth の世界とは
古いアルバムをめくると、想い出が立体感を伴ってよみがえってくるかもしれません。とはいえ、写真は立体を平面に写し取った存在です。では、未来も、写真は平面のままなのでしょうか？ マイクロソフトは、写真のあり方を変える技術を生み出しました。同じ場所を撮った多数の写真から、その場所を立体的に再構成し、3 次元の見せ方をする Photosynth (フォトシンス)。この製品化前の最新技術についてプレビューしましょう。
Photosynth とは？
全自動で 3 次元化。撮った位置までわかってしまう！
Photosynth は、その名のとおり、photo (＝写真) を synth (＝合成) する技術です。同じ場所をさまざまな角度から撮影した写真集を元に、3 次元空間を再現することができます。
あらかじめ 3 次元の座標上に写真を撮った位置を指定する必要はありません。Photosynth はコンピューターが写真コレクションを読み取り、画像情報を解析。共通する部分を重ね合わせるイメージで被写体とカメラ位置の角度を洗い出し、3 次元空間上の点の位置だけでなく、写真を撮ったカメラの位置や方向まで計算して特定してくれます。
Photosynthは 3 次元空間上にある点の集合のほかに、点の元になっている実際の写真も表示することができます。カメラの方向を向いたプロジェクターを創造してみてください。写真はそのプロジェクターからカメラで撮られた写真が投影されている状態と同じです。スクリーンは対象物体が表示されるようにプロジェクターから適切な距離に置かれています。フォトシンスの中を動くとそれぞれカメラの位置に配置されたプロジェクターはついたり消えたりしたようになり、いつもと同じ写真で作られた、全く別の世界を作り出します。
新築したばかりの一軒家の外観撮影を例にしましょう。まず玄関側から撮影し、家の周りをぐるりと 1 周しながら、撮影する部分が重なるように、数十枚の写真を撮ります。これらを Photosynth で合成すると、1 軒の家が立体的に再現できます。撮影位置は自動的に割り出されるので、撮影する部分が重なってさえいれば、ヘリコプターで上空から撮影した写真や、近くにあるビルの屋上から撮影した写真を組み合わせることも可能です。
こうして出来上がった 3 次元モデルは、3 次元空間として楽しみながら、それを構成する 1 枚の写真として見ることもできます。この例で、玄関脇に印象的な郵便受けがあるとします。友人に写真を見せながら新しい家を紹介するときに、郵便受けの話を盛り上げたければ、郵便受けだけを大きく写した写真を合成に加えるだけ。家の全体像を紹介しながら、ワン クリックで、郵便受けにフォーカスすることができます。
Photosynth の技術
画像を特徴の集合としてとらえる。
Photosynth が再現した 3 次元モデルの中で、私たちは点描画の中を歩き回ることになります。この点が、写真の特徴的な部分を示す特徴点です。コンピューターは、1 枚の写真から窓枠の角やドアのノブなど、示唆的な特徴をもった数百個の点の視覚情報を処理するアルゴリズムによって抽出します。写真コレクションの中から同じ特徴点をもつ写真を、特徴点を重ね合わせながら並べていくことで、3 次元空間を構成しているのです。
それぞれの点は特徴的とされる抽出された点を表しています。同じ特徴をもつ写真はウェブ上でリンク付けられます。同じ特徴をもった画像が複数枚見つかるとそれらは 3 次元空間ではどのような立体構造になるか計算されます。これは皆さんの視覚の焦点がある物体に当たっている場合、2 つの目に映った物体の位置関係から脳が 3 次元空間での位置を感知する奥行き知覚に似ています。フォトシンスの 3 次元空間モデルは特徴的な部位を表した点の集合体なのです。
ただし、この技術だけでは、スムーズに“歩き回る”ことはできません。なめらかに画像を切り替えたり、ズーム イン/ズーム アウトしたりできる技術があるからこそ、Photosynth を初めて体験した人は一様に驚いてくれるのです。
こちらの技術は、マイクロソフト ライブ ラボ (リンク) が買収した Seadragon Software という新興企業の技術によって補完しました。Seadragon は、写真コレクションに入っているメガピクセルやギガピクセルの写真も画像の一部としてとらえ、スムーズズーム イン/ズーム アウトや、シームレスなストリームができる優れたエンジンを Photosynth に提供してくれました。
これは対象画像が 1 メガピクセルであろうと 1 ギガピクセルであろうと変わりません。シードラゴンはどんな画像も一瞬で開くことができます。フォトシンスのコレクションは通常数百枚にもおよびます。コレクションの数が 5 千枚以上になってもパフォーマンスは変わりません
つまり、Photosynth は、3 次元画像の配置技術およびナビゲーション技術と、その背後にある Seadragon エンジンによって生まれた技術と言えるでしょう。
Photosynth が変える未来
写真より伝わる「空間」を低コストに再現。
Photosynth は、いま私たちが考えている写真のあり方を大きく変えてくれるでしょう。
Photosynth は、まず画像情報を処理して DNA 情報のように一意の目印となる点の集合体を作ります。画像の DNA 情報集合体を取得できたら、フォトシンスは似たような DNA 情報をもっているほかの写真をウェブから探してきます。注釈、タグや URL を画像に記録し別の似た画像に情報をコピーできるようにもなるでしょう。
たとえば、10 円玉に描かれている平等院の鳳凰堂は、多くの日本人が知っています。写真で見たことのある人も多いでしょう。実際、インターネットには、さまざまな人が撮影した鳳凰堂の写真があふれています。これらの写真を集めると、Photosynth は自動的に空間を作ってくれます。すると、写真として見るだけでなく、歩き回って全景をつかめるようになるのです。有名な、屋根上にある鳳凰像にも、容易にズーム インすることができます。
フォトシンスはあなたの撮った写真とウェブ上の画像や情報とシームレスにリンクさせて、あなたを進化続ける仮想世界へ招待できるようになります。
こうした使い方は、私たちの生活をより楽しいものにしてくれると共に、教育にも有効かもしれません。教科書に載っている写真で学ぶより、3 次元空間を散歩しながら全景をつかむ方ことでリアリティが増し、学生／生徒の興味はより深くなるでしょう。
ビジネスの世界では、先に挙げた一軒家の例をハウスメーカーや不動産販売業者が活用してくれることでしょう。高額で重量のある撮影機材や、大人数の撮影クルーは不要です。1 人の担当者がデジタルカメラを使って物件を撮影してくるだけで、家は 3 次元空間に再現され、すべての営業スタッフが顧客にリアルなプレゼンテーションをできるようになります。対象が物体であれば、どんなものでも 3 次元化できるので、家具や自動車を再現してみるのも面白いかもしれません。
これまで写真は、平面的に“見る”だけのものでした。Photosynth は、それに立体的な“体感”を与えてくれます。マイクロソフトは今後、Photosynth の世界をより良くするために、さまざまな技術開発を続けています。写真共有サイトと Photosynth の統合や、Photosynth による 3 次元都市空間モデル構築などの計画もあります。進化する Photosynth に、これからも注目してください。
さっそく使ってみよう
●Photosynth にアクセス
●写真の撮り方ガイド (日本語)
●Photosynth 使い方ビデオ
※音声が含まれますのでご注意ください。
この動画の閲覧には Microsoft Silverlight が必要です。
Microsoft Silverlight については、こちらの Web サイトをご覧ください。
●リンク
